明治39年（1906年）5月，太宰治之父津岛源右卫门开始建造兼作金融业店铺的宅邸，并于明治40年（1907年）6月21日完工。据说建筑费是当时的4万日元（相当于7,000袋大米）。其建筑设计委托了津轻地区著名的西式建筑建造师堀江佐吉，由堀江佐吉的第四子斋藤伊三郎负责建造。

当时建成的宅邸占地680多坪（约2248㎡），包括主屋、文库藏（文书、贵重品仓库）、中之藏（内部仓库）、三栋米仓、酱菜库、味噌库、木炭库、引入泉水的庭园以及前庭等，周围还建有一道高达4米的红砖墙，堪称豪宅。

明治初期（1868年～1872年）以后，津岛家族通过放贷和各种商业活动迅速积累起大量财富，一跃成为津轻地区的大地主。源右卫门（津岛家第6代家主、赘婿）在明治34年（1901年）成为县议会议员，明治45年（1912年）成为众议院议员，大正11年（1922年）成为贵族院议员。除了作为政治家外，源右卫门在明治30年（1897年）还设立了金木银行，同时担任行长一职，并于明治37年（1904年）跃居县内高额纳税人第4位，也是拥有田地200多町步（约2平方公里）的大地主。

新居落成2年后，即明治42年（1909年）6月19日，太宰治（本名：津岛修治）作为11个兄弟姐妹中的第10子及第6个男孩出生了，同时也是在这个大宅邸中出生的第一个孩子。直到13岁以前，太宰治也一直生活在这个大宅邸中。

太平洋战争结束后，因农地改革等原因，津岛家逐渐失去了曾拥有的200多町步的田地。因此，津岛家在昭和23年（1948年）将房屋转让给了其他家族，并于昭和25年（1950年）开办了旅馆“斜阳馆”。当时借鉴了太宰治晚年的著作《斜阳》和题在袄障子上的诗文《斜阳》，将旅馆命名为“斜阳馆”。自此以后，“斜阳馆”以可以住在太宰治故居为招牌而大受欢迎，一跃成为城镇的热门观光景点，前来的游客络绎不绝。平成8年（1996年）3月，旅馆由旧金木町收购，并复原了当时的风貌，成为现在的太宰治纪念馆“斜阳馆”。