和爾下神社の階段を降りたところに礎石の一部があり、柿本寺（しほんじ）跡の碑がありました。和爾氏の一族が柿本人麻呂で有名な柿本氏で、ここらへんが本貫となります。柿本寺は柿本氏の氏寺になります。また神仏習合でしたので柿本寺は和爾下神社の神宮寺となります。
ここは戦場にもなったようで建武4(1337)年に北朝側が和爾下神社、柿本寺に陣取って南朝軍と戦った記録が残っています。和爾下神社は山城のような様相ですから、陣を構えるには最適だったのでしょう。
柿本寺には柿本人麻呂が葬られたと伝わり、人麿信仰が盛んになるにつれ歌塚として有名となります。梅原猛の「水底の歌」では、鴨島沖で柿本人麻呂は刑死していて、いずれにしても石見国（島根県）が終焉の地なのに、なんでここに葬られたことになっているんですかねえ。