太宰治的父親——津島源右衛門,於明治39年(1906年)5月新動工了一棟兼具金融業店舖和住家功用的房子,並於明治40(1907年)年6月21日完工,建築花費據說為當時幣值的4萬日圓(為7,000袋米的價值)。委託的設計師則為津輕地區西洋建築的翹楚堀江佐吉,木工工頭則是由佐吉的四兒子齋藤伊三郎擔任。
在當時,此建築物的格局共有主屋、書房、儲藏室、3棟米倉、醃漬物品倉、味噌倉、碳倉,以及能採擷泉水的庭園與前庭,住宅佔地總共超過680坪,周圍還設有高4公尺的紅磚牆,非常豪華。
津島家在明治初期以後,因經營借貸等各種生意而急速累積財富,並因此成為津輕地區的大地主。源右衛門(津島家第6代當家、入贅女婿)則於明治34年擔任縣會議員、明治45年(1912年)擔任眾議院議員,大正11年(1922年)又成為了貴族院議員等,除了擁有政治家的身份,更於明治30年(1897年)設立金木銀行並擔任行長,在明治37年(1904年)躍升成為縣內納稅額排行榜第4名,為一持有約200公頃田地的大地主。
此建築物完工2年後的明治42年(1909年)6月19日,作為11個孩子中排行第10,同時是第六位男丁的太宰治(本名津島修治)誕生於世,除了是津島家的第6位男丁,也是第1個誕生於此大宅邸的小孩。而太宰治直到13歲為止,都在這棟房子內居住生活。
太平洋戰爭後,因農地改革的關係使得津島家原本持有的約200公頃田地化為烏有。因此,津島家於昭和23年(1948年)將住宅讓渡出去,而此住宅則於昭和25年(1950年)搖身一變成了旅館「斜陽館」。旅館名字取自太宰晚年的名作「斜陽」以及寫於拉門上的詩文「斜陽」,因此命名為「斜陽館」。之後,此旅館以能住宿於太宰治的出生地而聲名大噪,亦成為了當地的觀光勝地。平成8年(1996年)3月舊金木町將其買下並回復成當時的樣貌,成為了現在人們所見到的太宰治紀念館「斜陽館」。