正平６年５月５日の創建。建武年間に小坂越中守が要害山（１名杉山）の山城に居城し、降って戦国時代には、備中鴨方城主細川遍薫の重臣の河田紀伊守陸長や、毛利元就の家臣小坂宗右衛門経通の居城となった。備陽国誌によると、この頃神社はこの山城に奉祀してあり。その後、現在の山麓に奉遷したものである。