当社は創立年月日不詳であるが、柏山の住人赤枝某の家系によれば、嘉応（１１６９年）以前の創立である事が判明している。社記に「赤枝織部藤原為房嘉応元年（１１６９年）事故ありて大和三輪の里より備前国邑久郡磯上村之内柏山に移り住む。為房大三輪明神の衛士なるを以て分神の御分体を多賀神の境内に勧請し、明徳元年（１３９０年）家族引連れ多賀神山の麓に住居す。」とある。
当社は寿命長久を守護する神社として近郡村より参拝する者が多かった。昭和２０年６月２６日、神饌幣帛料を受ける神社に指定される。