奈良時代、第44代元正天皇の御代、養老2年（718）行基菩薩による創建といわれ、『福田寺縁起書』では次のような縁起を伝えています。

​

ある夜、行基菩薩の夢に2人の僧が現れます。行基菩薩は僧たちにいざなわれて園林にたどり着き、この地の大木をもって二尊像を作るよう告げられます。

夢から覚めた行基菩薩が、僧たちに教えられた地を訪ねてみると、そこには夢に見た園林がありました。念仏を唱えて霊験を祈ったところ、2本の樫の木からまぶしい光とともに釈迦如来と地蔵菩薩が示現。行基菩薩は2本の樫の木をもって釈迦如来と地蔵菩薩を刻み、二尊を安置する精舎を建立しました。それこそ、福田寺と伝わります。

​

また当初、真言宗で七堂伽藍を有していましたが、のちに荒廃したらしく、さらに後世、浄土宗に改宗したといわれています。

 

行基菩薩以降、歴代住職の中には、平安時代後期の歌人、俊恵法師がいます。俊恵法師の和歌は、『小倉百人一首』に選ばれています。