카이간지 절은 세토 내해 연안에 있는 마을인 타도쓰의 뵤부가우라 지역에 있습니다. 광대한 부지는 본당과 승당이 있는 해안 지역과, 오쿠노인과 대사당(大師堂) 등의 구조물이 있는 내륙 지역으로 나뉩니다. 이 내륙 지역을 도로와 JR 요산 철도 선이 통과합니다. 방문객들은 수호신들의 문인 인왕문을 통해 사원에 들어갑니다. 일반적으로 이러한 문 양쪽에 불교의 신들을 구현한 한 쌍의 동상이 있는데, 카이간지 절에는 인왕상 대신 스모 선수들의 동상이 서 있습니다. 전설에 의하면 이 절은 진언종의 창시자이자 시코쿠 88개 순례지 창시자인 승려 구카이(774~835 년)가 중국에서의 학업을 마치고 귀국한 직후인 807년 에 건립한 것으로 알려져 있습니다. 구카이가 카이간지 절 건립을 위해 이 장소를 택한 것은, 그가 태어났을 무렵 그의 어머니인 타마요리가 이곳에 거주했기 때문이라고 생각됩니다. 그녀의 거주지로 추정되는 부지에는 현재 부쓰모인 사당(‘부처님의 어머니’를 모신 사당)이 있으며, 사원 자체는 타마요리가 출산을 위해 마련한 오두막터에 지어졌다고 합니다. 부지의 여러 곳에서 북쪽으로 섬이 점재한 바다를 볼 수 있습니다. 그러한 전망을 볼 수 있는 장소 중 하나는 본당 뒤의 해변입니다. 또 한 곳은 근처 언덕에 있는 오쿠노인이며, 오르는 데 약 15분 정도가 걸립니다.