当社の創立年月日は不詳である。
　「続日本後紀」の承和８年（841）２月８日の条に『安仁神預名神焉（あにのかみみょうじんにあづかる）』とあるのが初見で、「延喜式神名帳」に備前国名神大社とある。
　古くは「兄神社」又は「久方宮（ひさかたのみや）」と称したとも伝えられている。
　御祭神は五瀬命・稲氷命・御毛沼命等である。この社地は、宮城山（みやしろやま）、別名鶴山といい、元宮は標高８０メートル位の頂上にあった。
　その後、備前藩主池田家の祈願所として現在の地に鎮座した。明治４年国幣中社に列せられ勅使の御参向があった。大正１５年皇太子殿下が行啓され、祈年祭・新嘗祭・例大祭には幣帛供進使の参向などがあり、戦前（大東亜戦争まで）は荘厳で隆盛な神域であった。
　昔はこの鶴山の麓まで海であり、入江の奥の良港だった。後方の山には磐座や列石があり、古代の祭祀跡と見られるところに、神武東征の船の「ともづな」を掛けたといわれる「綱掛石神社」などがある。