由緒・創建年月は不詳であるが、口碑に治承４年（１１８０年）３月、高倉上皇厳島御幸の道の記に「備前の国児島の泊に着かせ給ひ（中略）此の国の若宮御在し坐すと聞召して幣奉らせ給ふ」とあるは、本神社の事で、湯廻の大臣を見そなわした処といい伝えている場所が境内にある。又西行法師も度々参詣して
「昔見し松は老木になりにけり我とし経たる程も知られて」の詠があって、碑に刻み社前に建立してある。