太宰治的父親——津島源右衛門，於明治39年（1906年）5月新動工了一棟兼具金融業店舖和住家功用的房子，並於明治40（1907年）年6月21日完工，建築花費據說為當時幣值的4萬日圓（為7,000袋米的價值）。委託的設計師則為津輕地區西洋建築的翹楚堀江佐吉，木工工頭則是由佐吉的四兒子齋藤伊三郎擔任。

在當時，此建築物的格局共有主屋、書房、儲藏室、3棟米倉、醃漬物品倉、味噌倉、碳倉，以及能採擷泉水的庭園與前庭，住宅佔地總共超過680坪，周圍還設有高4公尺的紅磚牆，非常豪華。

　津島家在明治初期以後，因經營借貸等各種生意而急速累積財富，並因此成為津輕地區的大地主。源右衛門（津島家第6代當家、入贅女婿）則於明治34年擔任縣會議員、明治45年（1912年）擔任眾議院議員，大正11年（1922年）又成為了貴族院議員等，除了擁有政治家的身份，更於明治30年（1897年）設立金木銀行並擔任行長，在明治37年（1904年）躍升成為縣內納稅額排行榜第4名，為一持有約200公頃田地的大地主。

　此建築物完工2年後的明治42年（1909年）6月19日，作為11個孩子中排行第10，同時是第六位男丁的太宰治（本名津島修治）誕生於世，除了是津島家的第6位男丁，也是第1個誕生於此大宅邸的小孩。而太宰治直到13歲為止，都在這棟房子內居住生活。

　太平洋戰爭後，因農地改革的關係使得津島家原本持有的約200公頃田地化為烏有。因此，津島家於昭和23年（1948年）將住宅讓渡出去，而此住宅則於昭和25年（1950年）搖身一變成了旅館「斜陽館」。旅館名字取自太宰晚年的名作「斜陽」以及寫於拉門上的詩文「斜陽」，因此命名為「斜陽館」。之後，此旅館以能住宿於太宰治的出生地而聲名大噪，亦成為了當地的觀光勝地。平成8年（1996年）3月舊金木町將其買下並回復成當時的樣貌，成為了現在人們所見到的太宰治紀念館「斜陽館」。