神谷神社有一間重建於1930年的亮紅色拜殿，其後的小巧木造建築則是大殿，後者是日本現存最古老的神社建築之一。雖然並無多餘裝飾，它在歷史上卻是十分重要。於大正時代（1912—1926）進行修繕時，這裡發現了一些詳述此建築物歷史的上樑記牌（棟札），記載著修繕與重建的時間和狀況，其中最古老的一張揭露了現存大殿落成於1219年的事實。這棟建築物座落於用天然石材搭建的平台上，其曲線狀的屋頂則被多層檜木樹皮覆蓋，一直延伸到建築物前面的木製台階上方，延伸出去的部分是由四支四方型的柱子支撐。這是鐮倉時代（1185—1333）建築的典型特徵，並幫助這間大殿在1955年被指定為國寶。神社本身還被認為是更加古老：根據大殿內的紀錄，這裡其實是創立於812年。神社內還有一些歷史文件和其他文物，包括一尊鐮倉時代的雕像，呈現神道教守護神（隨神）的樣貌，但這些寶物只會在特定的場合中展示。神社的位置鄰近神谷川河岸，就在白峰山腳下，白峰山則是高松市和坂出市中間的五色台頂峰之一。 

Stamp Book