ตู้ซื่อคิดถึงบุตรสาวสุดหัวใจ ทั้งยังอยากจะหนีไปจากสถานที่ย่ำแย่เช่นนี้มากจริงๆ ดังนั้นจึงได้ยอมกระทำตามที่เฝิงหมัวมัวบอก
แต่หลังจากนายท่านผู้เฒ่าสกุลหลี่ทราบข่าวนี้แล้ว เขาก็ยังไม่อยากให้ตู้ซื่อกลับมาอยู่ดี เพราะเรื่องที่บิดาของตู้ซื่อถูกเนรเทศเขาเองก็มีส่วนเกี่ยวข้องอยู่บ้างเหมือนกัน อีกทั้งในตอนนี้ขุนนางผู้มีอำนาจผู้นั้นก็กำลังรุ่งโรจน์ เขากำลังคิดวางแผนประจบประแจงเป็นร้อยเป็นพัน หากเวลานี้ไปรับตู้ซื่อกลับมา ถึงบอกว่าตู้ซื่อเป็นสตรีที่แต่งออกมาแล้ว ไม่มีอะไรเกี่ยวข้องกับสกุลตู้อีก ทว่าขุนนางผู้มีอำนาจผู้นั้นมิใช่คนใจคอกว้างขวางอะไร กระทั่งครอบครัวรองข้าหลวงตู้ถูกเนรเทศไปแล้วก็ยังไม่ยอมปล่อยไปอีก ยังลอบส่งคนไปจบชีวิตพวกเขาเงียบๆ หากในเวลานี้เขารับตู้ซื่อกลับมา แล้วขุนนางผู้มีอำนาจผู้นั้นรับรู้เข้า ขอแค่อีกฝ่ายเล่นลูกไม้เล็กๆ น้อยๆ อยู่ลับหลัง เขาก็คงรับมือขุนนางผู้นั้นไม่ไหวแล้ว ดังนั้นนายท่านผู้เฒ่าสกุลหลี่จึงยืนกรานไม่เห็นด้วย บอกเพียงว่าให้ตู้ซื่อคลอดเด็กคนนี้ที่อารามชี พอเด็กคนนี้คลอดมาแล้วก็ให้มอบให้คนอื่น ไม่อาจพูดได้ว่าเป็นหลานชายของสกุลหลี่
ยามนั้นนายท่านผู้เฒ่าสกุลหลี่คิดว่าต่อให้เด็กคนนี้มีสายเลือดของสกุลหลี่ แต่ก็มีสายเลือดของสกุลตู้ด้วย ประการแรกคือเกรงว่าขุนนางผู้มีอำนาจคนนั้นจะถือสา กระทั่งเป็นการสร้างปัญหาให้กับสกุลหลี่ และประการที่สอง เขาเองก็มีความเกี่ยวข้องกับเรื่องของรองข้าหลวงตู้ด้วย ไม่อาจรับรองได้ว่าในภายภาคหน้าเมื่อเด็กคนนี้เติบโตแล้วจะไม่ออกนอกลู่นอกทาง หรือเกิดความคิดแก้แค้นทวงความยุติธรรมให้กับท่านตาของตน ถึงตอนนั้นเขาคงไม่รู้ว่าจะต้องทำเช่นไร
ทว่าขัดขวางอย่างไรก็ห้ามไม่อยู่ เมื่อยามนั้นหลี่ซิวซงคุกเข่าอยู่นอกประตูถึงสามวันสามคืน สุดท้ายนายท่านผู้เฒ่าสกุลหลี่ก็ทำได้เพียงยอมผ่อนปรนให้ไปรับตู้ซื่อกลับมา แต่ยังคงสร้างเงื่อนไขขึ้นมาข้อหนึ่ง นั่นก็คือถึงแม้ตู้ซื่อจะถูกรับตัวกลับมา หากก็ทำได้เพียงซ่อนนางเอาไว้ยังสถานที่สันโดษแห่งหนึ่งในสวนดอกไม้ บอกกล่าวกับคนภายนอกว่านางได้ตายไปแล้ว จากนั้นเด็กที่นางคลอดออกมาก็ให้บอกว่าคลอดมาจากสาวใช้ห้องข้าง เท่านั้น
หลี่ซิวซงเป็นคนกตัญญูที่มีนิสัยซื่อๆ ไม่มีปากมีเสียงคนหนึ่ง ต่อให้เขามีความรู้สึกลึกซึ้งให้กับภรรยาคนนี้มากเพียงใด แต่ก็คัดค้านการบังคับจากบิดาตนเองไม่ได้อยู่ดี ท้ายที่สุดเขาก็ทำได้เพียงยอมรับปากไปอย่างเจ็บปวด
ดังนั้นหลังจากที่ตู้ซื่อถูกรับตัวกลับมาแล้วจึงถูกกักบริเวณอยู่ในสถานที่สันโดษแห่งหนึ่งภายในสวนดอกไม้สกุลหลี่ นางตั้งครรภ์อยู่ที่นั่นนานหลายเดือนก่อนจะคลอดหลี่เหวยหยวนออกมา แน่นอนว่าทันทีที่คลอดหลี่เหวยหยวนแล้ว เด็กน้อยก็ถูกคนอื่นอุ้มพาจากไป ได้แต่บอกกับคนภายนอกว่าหลี่เหวยหยวนเป็นบุตรของหลี่ซิวซงกับสาวใช้ห้องข้างคนหนึ่ง
ที่บังเอิญก็คือในชั่วขณะที่หลี่เหวยหยวนคลอดออกมานั้น นายท่านผู้เฒ่าสกุลหลี่ที่มีสุขภาพแข็งแรงมาแต่ไหนแต่ไรก็เดินสะดุดก้อนหินก้อนหนึ่งหน้าคะมำกระแทกพื้นเสียชีวิตไปทั้งอย่างนั้น ยามที่สมาชิกในครอบครัวกำลังร้องไห้คร่ำครวญก็มีคนกล่าวว่าหลี่เหวยหยวนเป็นตัวอัปมงคล ทันทีที่เกิดมาก็ทำให้นายท่านผู้เฒ่าสกุลหลี่เสียชีวิต ดังนั้นคนในสกุลหลี่จึงไม่พอใจเขาอย่างมาก อีกทั้งในอีกหลายปีให้หลังก็บังเอิญมีภิกษุรูปหนึ่งเดินเคาะเกราะปลาไม้ ผ่านหน้าจวนมา ฮูหยินผู้เฒ่าสกุลหลี่จึงได้ให้คนไปนิมนต์ภิกษุรูปนั้นเข้ามาทำนายชะตาชีวิตให้กับคนทั้งตระกูล ในตอนที่ทำนายให้หลี่เหวยหยวน ภิกษุรูปนั้นนับนิ้วขมวดคิ้วอยู่นาน ท้ายที่สุดได้กล่าวออกมาว่าหลี่เหวยหยวนมีชะตาพิฆาต ในอนาคตไม่ว่ากับครอบครัวหรือแผ่นดินล้วนแต่กลายเป็นกาลกิณี