当社は文武天皇慶雲４年（707）此の地に社殿を創建して鏡作神を奉斎したと伝えられている。貞観年間官社に列せられ、延喜式に於ては美作国唯一の名神大社であると共に此の国の一宮でもある。
　「今昔物語」に猿神の説話があり、後白河法皇の御撰にかかる「梁塵秘抄」には関西に於ける大社として、安芸の厳島社備中の吉備津宮などと肩を並べている。
　鎌倉時代に元冦など国家非常の時に際し、勅命により特に全国７ケ国の一宮に国家安穏を祈願せしめられているが、当社も其の中に選ばれて祈願を厳修したことが伝えられている。
　弘安８年に一遍上人回国の途当社に参詣し念仏踊を行ったが「一遍聖絵」（国宝第八巻）に作州一宮図があって、其の節参詣の図が描かれている。建武中興破れて天正に至る約４百年間は，美作国中戦乱の巷と化し、その為に社寺の祭祀も殆んど絶えようとする有様であったが、当社は永正８年（1511）と天文２年（1533）の両度に祝融の厄に遭い、本殿以下山上山下の摂末社１２０社と共に宝物・什器・旧記・古文書等悉く炎上焼失した。
　永禄２年（1559）に至り、出雲城主尼子晴久戦捷報賽の為め社殿を復興した。世に中山造と称せられる入母屋造妻入檜皮葺で間口５．５間、奥行５．５間、建坪約４１．５坪の宏壮雄大な御本殿であって、大正３年国宝建造物の指定を受け、現在は国指定重要文化財の指定を受けている。
　慶長８年森忠政美作全州を領して入封するに至り、国内漸く平定し歴代の藩主の崇敬も厚く社領の寄進や修築の資の奉献など絶えることなく、又「一宮さま」と親しまれ、朝野の信仰を集め、中世より近世にかけては門前市も大いに繁昌した。
　明治４年国幣中社に列格。御祭神金山彦命と定められた。これにより明治年間再度に亘り御祭神名を「鏡作神」に改められる様願出でたるも聴許せられず終戦を迎え、昭和２１年宗教法人中山神社設立届出に当り御祭神名を主神鏡作神、相殿に天糠戸神、石凝姥神配祀と総て明治以前の社家伝承や旧記類に明記せられている御神名に旧した。
　宗教法人中山神社となった後も、御本殿以下諸建造物等境内の森に至るまで昔のままの姿にて防災施設も完備し、美作国の一宮と広く尊信されて現在に至っている。