本神社は延喜式内社で文徳実録所載の神社であり、従五位下に叙された。
　仁徳天皇の勅令により吉備津神社の５社の神殿が創建されたその１社として建立され、創建は１６００年以前とされ特に別宮と称せられた。
　現在の本殿は、永禄７年（1564）西川面城山城主渡邊河内守藤原資家の寄進により再建される。（棟札現有）また、仁徳天皇が当神社に立ち寄られたことが小田郡誌に見える。
　明治４０年１月神饌幣帛料供進神社に指定された。本殿は創建以降１１回の屋根葺き替えを行っている。
　鵜江の由来は吉備津彦命が崩御され、御体を中山の南峰に埋葬するとき、御棺が鳴動し１羽の鵜（荒魂）が西方に飛び出て、その止まる所（当地）を鵜の里と称し、吉備津彦命の荒魂を鎮め奉らんと神社を建立した事による。
　古くは流鏑馬の神事があり、名残りとして、鎌倉時代とされる弓矢等が奉納されている。また、昭和初期までは、秋の大祭に近隣（笠岡、井原、金光、鴨方、美星、真備）の大人が集って大相撲の奉納があった。
　秋の大祭（４日間）では初日御波解（おはげ）祭があり大当番屋宅の庭に棟より高く竹組みを立て降神の目印として神迎えの神事を行う。大祭最終日に昇神の神事の後この竹を氏子の当番組が倒して持ち帰る。この竹を農耕に使用すれば五穀豊作となると伝えられている。