เดือนพฤษภาคม ปีศักราชเมจิที่ 39 (ค.ศ.1906) เก็นเอะมง ทสึชิมะ พ่อของโอซามุ ดะไซ ได้เริ่มก่อสร้างบ้านใหม่ที่ทำเป็นสำนักงานธุรกิจการเงินด้วย การก่อสร้างแล้วเสร็จในวันที่ 21 มิถุนายน ปีเมจิที่ 40 (ค.ศ.1907) ซึ่งค่าก่อสร้างในขณะนั้นอยู่ที่จำนวน 40,000 เยน (ข้าวสาร 7,000 กระสอบ) โดยได้มอบหมายให้ซากิจิ โฮริเอะ ช่างไม้สำหรับสถาปัตยกรรมตะวันตกที่มีชื่อเสียงในเขตพื้นที่สึงารุเป็นผู้ดำเนินการออกแบบ และอิซาบุโร ไซโต ลูกชายคนที่ 4 ของซากิจิรับผิดชอบเรื่องงานไม้

มีอาคารหลัก ห้องนิรภัย โกดังกลาง โกดังข้าวสามหลัง โกดังเก็บผักดอง โกดังมิโซะ โกดังถ่าน สวนที่มีสระน้ำและลานหน้าบ้านรวมกันเป็นพื้นที่บ้านกว่า 2247.93 ตารางเมตร กับกำแพงอิฐสีแดงล้อมรอบที่มีความสูง 4 เมตร ในสมัยนั้นถือว่าเป็นสิ่งก่อสร้างที่มีความโอ่อ่าอย่างยิ่ง

ตั้งแต่ช่วงต้นเมจิเป็นต้นมา ตระกูลทสึชิมะมั่งคั่งขึ้นอย่างรวดเร็วจากการให้กู้ยืมเงินและธุรกิจต่างๆ มากมาย ด้วยเหตุนี้จึงทำให้ครอบครัวนี้กลายเป็นเจ้าของที่ดินรายใหญ่ในภูมิภาคแถบสึงารุ โดยเก็นเอะมง (บุตรบุญธรรม, หัวหน้าตระกูลทสึชิมะลำดับที่ 6) ได้เป็นสมาชิกสภาจังหวัดในปีเมจิที่ 34 (ค.ศ.1901) เป็นสมาชิกสภาผู้แทนราษฎรในปีเมจิที่ 45 (ค.ศ.1912) เป็นสมาชิกของสภาขุนนางในปีไทโชที่ 11 (ค.ศ.1922) เป็นต้น ซึ่งนอกจากฐานะนักการเมืองแล้ว เขายังเป็นประธานกรรมการสูงสุดผู้ก่อตั้งธนาคารคานากิในปีเมจิที่ 30 (ค.ศ.1897) และในปีเมจิที่ 37 (ค.ศ.1904) เขาก็ก้าวกระโดดขึ้นสู่อันดับที่ 4 ในการจัดอันดับผู้เสียภาษีเป็นจำนวนเงินมากที่สุดของจังหวัด และยังเป็นผู้ถือครองที่ดินไร่สวนรายใหญ่ที่มีเนื้อที่เกือบ 2 ตารางกิโลเมตรด้วย 

โอซามุ ดะไซ (ชื่อจริง ชูจิ ทสึชิมะ) เกิดเมื่อวันที่ 19 มิถุนายน ปีเมจิที่ 42 (ค.ศ.1909) สองปีหลังจากบ้านหลังใหม่ก่อนสร้างเสร็จ เป็นลูกคนที่ 10 ลูกชายคนที่ 6 ในจำนวนพี่น้อง 11 คน และเป็นลูกคนแรกที่เกิดที่คฤหาสน์หลังนี้ อย่างไรก็ตาม โอซามุ ดะไซได้อาศัยอยู่ที่คฤหาสน์หลังนี้จนกระทั่งอายุ 13 ปี

หลังจากสงครามแปซิฟิกสิ้นสุดลง ที่ดินสวนไร่นาของตระกูลทสึชิมะที่มีอยู่เกือบ 2 ตารางกิโลเมตร ก็หมดไปเนื่องจากมีการปฎิรูประบบที่ดิน จึงทำให้ตัวบ้านถูกโอนถ่ายไปเป็นของครอบครัวอื่นในปีโชวะที่ 23 (ค.ศ.1948) และก็ได้เปิดเป็นเรียวกัง ""ชะโยคัง"" ในปีโชวะที่ 25 (ค.ศ.1950) ซึ่งเป็นชื่อที่ในขณะนั้นตั้งมาจากผลงานเขียนที่มีชื่อเสียงในช่วงบั้นปลายชีวิตของดะไซ ""ชะโย (พระอาทิตย์ตกดิน)"" และบทกวี ""ชะโย"" ที่เขียนอยู่ที่ประตูเลื่อนไม้ ตั้งแต่นั้นมาก็ได้รับความนิยมเพราะผู้ที่มาเยือนสามารถเข้าพักที่บ้านเกิดของดะไซ โอซามุได้ จนกลายเป็นสถานที่ท่องเที่ยวยอดนิยมของเมือง และถูกซื้อโดยอดีตเมืองคานากิในเดือนมีนาคม ปีเฮเซที่ 8 (ค.ศ.1996) ได้รับการบูรณะให้มีรูปแบบเหมือนกับในอดีต จนกลายมาเป็น พิพิธภัณฑ์อนุสรณ์โอซามุ ดะไซ ""ชะโยคัง"" เช่นในปัจจุบัน