美作国吉野郷小吉野荘の一の宮として、和銅6年(710年)に出雲の国神を勧請し、この地に祀って河西宮と尊号した。美作国112社の1社で
その後杉本大明神と改称し、国司入国の節は当社に神拝されていた。
　祭典儀式に則した馬場八丁と神田等があった。祭のときは、小吉野荘7か村の神輿が当神社に集い、馬場八丁を使って流鏑馬の儀式が行われていた。明治6年村社に列し、記念事業として本殿・弊殿・拝殿の造営を行った。明治10年に吉野神社と改称した。