「この島に元、柏の霊木あり。瑞雲たなびけり。人これを「柏の神社」と称す。疾疫に祈れば必ず感あり」とあり、古くからこの地に神が祭られ、船人達の航海安全の祈願が込められていた。
　大嘗会和歌集に「御冷泉永承元年（1046）主基方備中国柏島に船をつなぎ、柏を採る人あり」と前書きして、藤原朝臣家経の歌「ししに生るかしわの島の青柏祈りわたりて卯月にぞ採る」とある。
　天正１２年（1584）３月勧請されたもので、赤沢兵庫頭政信が建立し、はじめ「八幡宮」と称した。
　明治４５年本殿、幣殿の改築を行い、大正元年１２月「御前神社」を合祀して、「柏島神社」と改称した。昭和１５年幣殿、釣殿、拝殿の改築を行い現在の姿になった。
　境内の東に「大歳神社」、「荒神社」、「稲荷神社」、「厄神社」、「大森神社」が祀られ、西に「豊浦神社」が祀られている。