海岸寺位於多度津的屏風浦地區，當地是一座瀨戶內海沿岸的城鎮。本寺廟占地廣大，分為本堂和僧坊所在的沿岸區，以及奧之院和大師堂所在的內陸區，公有道路和JR予讚線都會經過後者。遊客需要通過仁王門（守護王之門）進入寺廟，這樣的門兩側通常會有一對刻劃佛教神祇的雕像守衛，但海岸寺的守衛者則是相撲力士們。根據傳說，這座寺廟是在807年由從中國學成歸國的佛教僧侶空海（774—835）建立，他同時也是真言宗之祖與四國遍路八十八處的創始人。空海之所以會選擇於現址建立海岸寺，或許是因為他母親玉依御前在生下空海時住在這裡的關係。一般認為玉依御前曾經的住所就是現在的佛母院，但也有種說法認為整座寺廟都是建立在玉依御前待產時的小屋遺址上。寺廟占地內有好幾個地方都能供人眺望北方島嶼星羅棋布的大海，其中之一是本堂背後的沙灘，另外還有附近山丘上的奧之院，爬山抵達該處只需大約15分鐘。