后来他与建成闹的不死不休公然翻脸后，却因为不放心他的忠心，居然想以锦姝为质，实在太让人心寒。
玄武门事变后，他没有记得谢家的忠诚和功绩，却仅凭猜测就在没有真凭实据的情况下将谢家举家下了大狱。
他当时也猜想到自己不肯接走姝儿，也不肯把姝儿送入秦王府为质，李世民若是继位肯定会记恨报复他。还有太子的走狗明清也会被降罪，明净做为谢家的成年男子很可能也会被牵连。
他为了稳定人心表面上不动声色，其实已经做好了准备。先是在祖坟周围置办了祭田，盖了田庄，就连家俱用品都准备好了，把一切都安排妥当了，随时都能住人。
还留了忠心耿耿的老夏一家看守庄子打理祭田，还给老夏手里留了一笔不菲的银子，以备不时之需，就算以后没有成年男子养家，一家妇孺长久生活下去是没有问题，只是不能再享受以往的荣华富贵。
因为白梅的事，他那时已对谢承忠生出了戒心，就瞒着他把将军府里该销毁的东西全销毁了，非常重要的东西全都隐匿了，他在晋阳经营多年，除了明面上忠诚的人，暗处还有几个心腹，完全可以放心。
事发前还交待他们不要轻举枉动暴露实力，这一次探亲过后，就派砚儿带着信物去跟他们联络，取回那些重要的东西。
但他却没有想到李世民会把谢家举家下狱，他以为凭着父亲谢无涯的忠心，李世民会放过谢家妇孺，最多只是夺爵抄家把她们赶出郡伯府，却没想到他会盛怒至此。