神社帳には欽明天皇の皇子である敏達天皇が祭神として書かれています。その関わりを示すとされる金箔で覆われた菊の御紋が、社殿の梁に飾られています。源氏に敗れた安徳天皇をお祭りしているという説もあります。また、関ヶ原で敗れた宇喜多秀家公が、毎日、屋敷から3kmの道のりを歩いてお参りし、牛根を去る際に、身の回り品を献上したと記録に残っています。

居世（こせ）と読むが伊勢とも読める。平家は伊勢神宮を崇拝し権威を誇ってきたが、都を追われた身ゆえ、公に伊勢とはなのれなかったので隠語を用いたのではないか？と言われている。他にも都を偲ばせる地名が多く残っている。宮崎大路、東大路、中大路御所の尾，御前，おぜん原いつかは都へ帰れると信じて山深いこの地に名づけたのだろうと言われる。