다자이 오사무의 아버지, 쓰시마 겐에몬은, 메이지 39년(1906년) 5월에 금융업의 점포를 겸한 주택을 신축 착공해, 메이지 40년(1907년) 6월 21일에 완성시켰습니다. 건축비는 당시 금액으로 4만엔(쌀 7,000섬 분량)으로 알려져 있습니다. 설계는 쓰가루 지역 서양 건축의 명동량, 호리에 사키치에게 의뢰했고 목수 동량은 사키치 넷째 아들인 사이토 이자부로가 맡았습니다.
당시에는 주옥, 문고장, 나카노 쿠라, 쌀창고 삼동, 장아찌장, 된장장, 탄장, 샘물을 배치한 정원과 앞마당을 합쳐 택지 680여 평, 둘레를 4m 높이의 붉은 벽돌담이 둘러친 호화로운 건물이었습니다.
쓰시마 가문은 메이지 초기 이후 금 대여업과 각종 장사를 통해 급속히 재산을 모으고 이를 바탕으로 쓰가루 지방의 대지주가 된 집입니다. 겐에몬(쓰시마 가문 6대 당주, 서양자)은, 메이지 34년(1901년)에 현의원, 메이지 45년(1912년)에 중의원 의원, 다이쇼 11년(1922년)에 귀족원 의원이 되는 등, 정치가로서의 일면을 가지는 것 외에 메이지 30년(1897年)에 가나기 은행을 설립해 은행장이 되고, 메이지 37년(1904년)에는 현내 고액 납세자 번호표 4위로 약진하는 등, 소유 논밭 약 600000평 이상을 가지는 대지주이기도 했습니다.
신축 2년 후인 메이지 42년(1909년) 6월 19일에 다자이 오사무(본명 쓰시마 슈지)가 11남매의 제10자 6번째 아들로서 이 대저택에서 첫 아이로 탄생했습니다. 또한 다자이 오사무는 13세까지 이 대저택에서 살고 있었습니다.
태평양 전쟁 후 농지 개혁 등에 의해 약 600000평이상이나 되었던 쓰시마 가문의 논밭은 없어져 버렸습니다. 그 때문에, 쇼와 23년(1948년)에 집과 땅이 다른집에 양도되어 쇼와 25년(1950년)에 여관 「샤요칸」으로서 개업하게 되었습니다. 이때 다자이 오사무의 명작 「샤요」(사양 : 斜陽)와 맹장지에 있는 시문의 「샤요」(사양 : 斜陽)를 따서 「샤요칸」이라고 명명되었습니다. 이후 다자이 오사무의 생가에 숙박할 수 있다는 점에서 인기를 끌면서 마을의 관광명소로 번성해갔습니다. 헤이세이 8년(1996년) 3월에 구 가나기마치가 매입하여 당시의 모습을 복원하여 현재의 다자이 오사무 기념관 「샤요칸」이 되었습니다.