本神社は古事記、日本書紀に見える、神武天皇の御東征の砌、三年間御駐輦のあった高島宮跡に創建せられた神社である。備前国総社神名帳に「正三位高島大明神」と誌してある。旧幕時代は衰微がその極に達したが、紀元二千六百年に神武行宮の碑を建て、社殿を復興したが、暴風雨のため倒潰し、本殿だけが現存している。