当社の創建は弘仁７年（816）と伝えられており、古くは感神院・木山牛頭天王とも言われ、京都祇園の八坂神社、播磨国の広峯神社の牛頭天王などと並び、日本最古の天王社として広く一般庶民の信仰を受けた。
　平安時代以来素尊信仰の上に京都祇園社の信仰を導入したため、当社の信仰は一層拡大され、南北朝時代から室町時代にかけては美作国南三郷(現在の落合町)の「総社」として崇敬された。
　江戸末期には、美作国勝山の藩主三浦侯の定める藩内の直参、或いは代拝する神社五社の中に数えられ藩主崇敬の社として、藩内領民の崇敬も厚く、明治維新以降に神社に社格が付与されたとき直ちに南三郷の「郷社」に列せられ、その後昭和９年には岡山県の「県社」に列せられた。　昭和に入り当社の信仰は以前にも増して厚くなり県下はもとより京阪神・山陰地方・広島地方からも参詣者相継ぐ盛況を見るに至り山頂境内までの難路、参拝時間の関係上その山麓に里宮を建設して欲しいとの要望が高まり、昭和３７年山頂の御社殿は奥宮としてそのまま存置して新たに里宮が新築・移築をもって現在の鎮座地に造営された。
　奥宮の本殿は天正５年の大火の後天正８年（1580）に再建されたものであり、また奥宮随神門の随神像は室町時代の應永３年（1396）の作で天正５年の大火の際にも焼失することなく現存している。共に岡山県の重要文化財に指定されている。