元正天皇の養老元年（717）豊前国宇佐から勧請したと伝えられている。
　應永年中（1394～1427）清原備前守沙彌が本社を建立、社領は九十町であった。
　元亀年中（1570～1572）浦上遠州が大願主となり、市村真輔入道、河本左衞門進が神殿を再建し、社領５０石の寄進があったがこれは後、金吾中納言（小早川秀秋）により没収される。
　慶安元年（1648）佐井田神主社僧圓林坊連判の書き上げによれば当社は、宮数１１の内、本殿３間四面、拝殿３間に５間、高麗御前、御供所門客人五社大明神、薬師堂、伊勢御前、天神、鐘楼、弁財天とあり、当時の神仏混淆の様子がうかがえる。
　その後池田三左衞門（輝政）から明治５年まで累代に亘り、毎年１石と注連竹が寄進された。寛文１２年（1672）本社並びに釣殿・拝殿・廻廊その他の再興にあたり、藩主池田継政から米１０石の寄進を受けた。
　明治４２年神饌幣帛料供進神社に指定され、翌年村社伊勢荒魂神社ほか６社を合祀した。
　本社は、古来からの例として、氏子中、粟利郷の男女１５歳未満の者が大祭に限り、一様に木太刀、薙刀を持ち太刀踊りを踊る。（岡山県及び牛窓町指定無形民俗文化財）