明治39年(1906年)5月,太宰治之父津岛源右卫门开始建造兼作金融业店铺的宅邸,并于明治40年(1907年)6月21日完工。据说建筑费是当时的4万日元(相当于7,000袋大米)。其建筑设计委托了津轻地区著名的西式建筑建造师堀江佐吉,由堀江佐吉的第四子斋藤伊三郎负责建造。
当时建成的宅邸占地680多坪(约2248㎡),包括主屋、文库藏(文书、贵重品仓库)、中之藏(内部仓库)、三栋米仓、酱菜库、味噌库、木炭库、引入泉水的庭园以及前庭等,周围还建有一道高达4米的红砖墙,堪称豪宅。
明治初期(1868年~1872年)以后,津岛家族通过放贷和各种商业活动迅速积累起大量财富,一跃成为津轻地区的大地主。源右卫门(津岛家第6代家主、赘婿)在明治34年(1901年)成为县议会议员,明治45年(1912年)成为众议院议员,大正11年(1922年)成为贵族院议员。除了作为政治家外,源右卫门在明治30年(1897年)还设立了金木银行,同时担任行长一职,并于明治37年(1904年)跃居县内高额纳税人第4位,也是拥有田地200多町步(约2平方公里)的大地主。
新居落成2年后,即明治42年(1909年)6月19日,太宰治(本名:津岛修治)作为11个兄弟姐妹中的第10子及第6个男孩出生了,同时也是在这个大宅邸中出生的第一个孩子。直到13岁以前,太宰治也一直生活在这个大宅邸中。
太平洋战争结束后,因农地改革等原因,津岛家逐渐失去了曾拥有的200多町步的田地。因此,津岛家在昭和23年(1948年)将房屋转让给了其他家族,并于昭和25年(1950年)开办了旅馆“斜阳馆”。当时借鉴了太宰治晚年的著作《斜阳》和题在袄障子上的诗文《斜阳》,将旅馆命名为“斜阳馆”。自此以后,“斜阳馆”以可以住在太宰治故居为招牌而大受欢迎,一跃成为城镇的热门观光景点,前来的游客络绎不绝。平成8年(1996年)3月,旅馆由旧金木町收购,并复原了当时的风貌,成为现在的太宰治纪念馆“斜阳馆”。