南部藩時代、飢餓が多く、中でも元禄・宝暦・天明・天保の4大飢饉には、多くの餓死者が出ました。その供養のため、天保8年祇陀寺14世天然和尚が石造建立に着手し、12年の歳月を経て嘉永2年に竣工しました。明治17年の大火で寺は焼失し、境内跡に残る16体の羅漢様と5体の五智如来。彫り上げたのは藩の御用職人達で、地元の石工が作り上げた石像は全国でも珍しいものです。