当社の創建年代は不詳であるが、延享２年の池田家文書に、富沢番神２社とある。
　当時は幡神宮又は番神宮と称していた小山、藤田の２社を、明治２年にそれぞれ富沢神社、藤田神社と改称した。
　明治６年に富沢神社が村社に列格し、同２５年に藤田神社を合祀して現在の富沢神社となった。
　１２月１５日の小祭と称する当屋移しの神事は、往古の祭りと暮らしを知る上で貴重な神事として受け継がれている。