本神社は頂見山寺院の鎮守として、天平８年９月、釈行基が勧請したものである。当時は別当が奉仕していた。
　建久元年那須小太郎宗晴が社殿を再建。建長３年社殿再建。弘化４年氏子の協力で社殿を再建。明治１１年４月、山王神社を大山祇神社と改称した。
　大正１２年社殿を改築。昭和３年神饌幣帛料供進神社に指定された。