自从世民开了幕府之后，每天穿着儒生的衣服，与十八位学士整日谈论经学而不知疲倦。每日清晨用过早膳之后，世民来到厅堂之后，十八位学士已经整整齐齐的坐在那里，世民向大家行礼，大家赶紧起身还礼。落座之后，仆人赶紧捧着茶壶茶碗给大家一一倒茶。世民说：“有一个问题我要向大家请教，父慈子孝是父子之间非常理想的一种状态，为什么从汉朝开始人们越来越不强调副词，而只强调只笑了呢？”杜如晦起身答道：“父亲对待孩子的爱就像是水往下流一样容易，儿子对父亲爱起来就像是让河水倒流一样困难，其实不只是汉朝，从古至今强调子孝都多过于父慈，因为人都是从小孩子，然后慢慢长大成人，如果一个人在小的时候是一位孝子，长大之后也一定会是一位慈父。”世民说：“埋儿的郭巨也算是慈父吗？”杜如晦一下子目瞪口呆，世民说：“把自己的儿子煮了给父母吃，算不算是孝子？”
在场的人一下子不知道该如何作答，世民进一步说：“把儿子煮了给父母吃，这叫做孝子。那么把儿子煮了给君上吃，算不算是忠臣呢？”杜如晦说：“把儿子煮了给君上吃，这是当年齐国著名的佞人易牙所为，所以这么做一定不是忠臣，事实最后也证明了这一点，易牙等人最终还是反了。”世民说：“父亲如果想有一个孝子，他就应该把儿子的死活挂在心上，君上如果享有一群忠于他的臣子，也要支持他做一个正常人应该做的事情。没有这样的度量，在他帐下的就会是一群阿谀奉承的人。”讨论结束之后，房乔说：“适才大王所言极为不妥。”世民说：“我是有意为之，我就是想让父亲知道，我应该被公正合理的对待。”一听这话房乔笑着说：“大王提到公正合理，我倒要向大王请教，你觉得公正合理是理所应当就有的，还是通过有人争取而得到的呢？”世民说：“从现实来看，公正合理的结果，不通过争取是不会有的。”
房乔点点头说：“大王志向广远，又有存百姓之德，可大王想要实现自己毕生的愿望，首先就要把上天授予你的神器拿到手。”世民心中有些不安，说：“虽说这些年在战场上我累积了一些名声，但据此认为上天要把神器授予我，恐怕很难服众吧！”房乔说：“大王觉得前朝太上皇如何？”世民做若有所思状，沉吟片刻说：“此人屠戮父兄、刚愎自用，放纵自己的需求，而不顾子民的死活。”房乔说：“大王，当初此人能够得天下，说明此人的确有过人之处，在这方面大王比他有过之而无不及。至于刚愎自用放纵自己的需求，只要大王深以为戒，最终一定可以成为背后是人们所敬仰的圣主。”世民说：“这样的话以后不要轻易讲，传出去的话会给自己招祸。”房乔说：“大王当年在晋阳的时候已经有很多人在追随大王，那个时候比现在更危险，怎么没有听说大王怕过呢？”
按照皇上颁布的旨意，王世充被贬为庶人，并且要他去属地居住。在他启程之前，他被安置在指定的客舍居住。那是一个只接待平民的地方，所以条件非常的简陋。睡的是大通铺，吃的也是最粗糙简单的饭食。距离启程的日子越来越近了，王世聪的心情也越来越糟糕。此时他的心理状态是非常矛盾的，长安对他来说是非常糟心的一个地方，可他心里很清楚，皇上绝对不会给安排一个宜居的地方。手里端着粗碗，碗里盛着菜庚，一边喝着菜羹，一边嚼着窝头。大哥的泪珠不断的从眼睛里跳出来，旁边两位看一下他的兵丁，在那里一边对他指指点点一边谈论着。那位年纪稍长一点的兵丁说：“这就是威震一时的大英雄王世充。”另一位年轻一点的兵丁说：“虎落平阳啊！我们一定要把他看紧了，要是让他给跑了，我们的罪过就大了。”
两个人谈论的内容，王世充听了一清二楚，而那两位兵丁似乎完全没有要躲避他的意思。不过王世充这个人在他最威风的时候从来没有想过要积德，为了震慑手底下的人，他的手上沾满了鲜血。一个人微风的时候，即使非常的仁慈，一旦他落魄了，总会有许多势力小人来找他的麻烦。要是一个人在威风的时候处处给他人气受，一旦他虎落平阳，他的仇家们又如何肯放过他呢？王世充这样一个人，自然不会缺少仇家，这些人心里合计着一旦让他去了蜀地，隐藏在群山之中，那个时候再想寻觅他的踪迹，恐怕就难比登天了，所以这些人认为现在是干掉他的最后机会。对于皇上来说，王世充如果被自己的仇家干掉了，自然是最好的结果。因为一旦让猛虎归山，哪怕是异乡的山水也可能让这只老虎重拾自己的威风。
之所以不敢将窦建德释放，是因为窦建德这个人平常很注意积德行善。当年徐世勣投奔在他的帐下，却想要杀掉他然后投奔大唐邀功，结果阴谋不成，徐世勣投奔大唐之后，他的父亲被窦建德手底下的人俘获，这些人建议窦建德杀掉徐世勣的父亲，结果却遭到窦建德的拒绝。徐世勣是一个重情义的人，窦建德的这个举动让他十分感激。如果皇上决心不杀窦建德，那些盘踞在山东的旧部很可能会拥立窦建德东山再起，搞不好大队的内部还有人会念及窦建德给的好处从而做出一些大逆不道之事。那是一个平常的中午，看押王世充的兵丁正在那里打着瞌睡，王世充也在那里晒着太阳，突然一个黑影挡在了他的面前。睁眼一瞧，只见那个人身长九尺、皮肤黝黑，瞪圆了双眼，胡子乱的像是杂草，手里攥着一把明晃晃的大刀。这个时候那位年轻一点的士兵用手指戳了戳身边那位年纪稍长的士兵，说：“好像出事了。”
只见那位壮汉手起刀落，王世聪的脑袋就像是一颗球，从他的脖子上滚了下来。两位士兵看得目瞪口呆，状态走过去朝着他们深深的行了一个礼然后扬长而去。愣了很长时间，两位士兵这才大叫起来。不久之后消息报道了尚书省。裴寂捋着胡须说：“皇上果然深谋远虑，王世冲不出所料死于仇人之手。”然后他亲自来到皇上的寝宫报告，这个时候皇上斜靠在那里闭目养神。裴寂说：“恭喜皇上，王世充死了。”皇上没有搭理他，裴寂有些摸不着头脑，皇上突然坐起来说：“王世充死于非命，这件事不值得我们君臣高兴，反而应该立刻下令有司查清这件事，然后给外界一个可信的说法，要不然人家就会以为长安是一个没有王法的地方。”
听着这话裴寂恍然大悟，说：“还是皇上考虑的周到，臣这就去安排。”皇上笑着说：“等你安排黄花菜都凉了，朕已经令人去这么做了，这些日子你要派人好生去安抚王世充的旧部，如果你发现有什么人才一定要推荐给朕。”又是一个无眠的深夜，建成皱着眉头说：“王世充死了，虽说他有不少仇家，但我总是隐隐的觉得他死的非常的蹊跷。”魏征说：“殿下，王世充的死对你来说不重要，你最应该听到的是秦王的死迅。”建成不耐烦的说：“你不要只是建议我杀掉秦王，而是应该告诉我如何杀掉秦王？如果按照你之前所说的那样，要杀秦王就得连皇上一块儿给办了，我这算不算是忤逆犯上。”魏征说：“成大事者不拘小节，如果在这件事情上点下，不能表现得非常果决，等到秦王先下手为强，殿下将会横死。”建成瞪圆了的双眼说：“住口，我当你是心腹之臣，为何说出如此不祥之语？”
这些日子世民经常做噩梦，为此观音婢也常常无法安眠。世民说：“当年我在战场上被人算计着，也没有像今天这样感到惶恐不安。”观音婢冷静的说：“大王现在可比当年你在战场上的时候要凶险太多了。”世民看着自己的娇妻，却一时说不出话来，观音婢说：“大王还记得史万岁吗？”世民说：“当然记得那个是隋朝的名将。”观音婢说：“当年史万岁平了北方的胡虏，立下了不世之功，可他在回到长安之后没多久就被御史弹劾，说他在大漠纵容手下的兵劫掠牧民，结果被爱民如子的文皇帝杀掉了。当时很多人替史万岁感到不平，大王又是怎么觉得的呢？”世民说：“当年文皇帝之所以杀掉史万岁，与违反军纪无关，只是当时史万岁将军威望越来越高，他的威望震动了文皇帝，所以他就只有死路一条。”到这里他的心里咯噔了一下，观音婢说：“你之所以还能够保住自己向上的人头，只因为在皇上的心中还保留着一点残存的父子之情。”
当时在建成的阵营之中存在三种主张，第一种是借皇上的手杀掉秦王，持有这种主张的人是封伦，他相信只要自己不断的想办法对皇上施加影响，皇上到最后一定会小文皇帝当年杀掉史万岁一样要了世民的命。对于建成来说，这当然是上策，为了达到这个目的，建成的夫人用以皇嗣妃入宫觐见的机会，接交当时皇上最宠幸的两位妃子，接交的方式无非有两种，一种就是直接给她们送礼，一种就是帮助他们的娘家人。这两位妃子就是张婕妤和尹德飞妃，然而她们也是极聪明的人，觉得把宝压在一边终究不大妥当，于是就想着创造条件让秦府和东宫进行竞争，这样就可以将她们的利益最大化。观音婢把这个情况告诉了秦王，世民说：“东宫愿意做的事情，秦府未必就愿意做。”观音婢说：“如此一来，可就得罪了两位娘娘了。”世民说：“有两位得宠的妃子，这就意味着有更多不得宠的妃子，只要她们知道我们与张婕妤和尹德妃的关系不和，这些人不需要我们支付给她们任何东西，就会愿意帮助我们。”
一听这话，观音婢顿时感觉豁然开朗，说：“这个办法好。”于是每一次观音婢进宫见皇上的时候，对待两位宠妃也只是以礼相待，没有任何的礼品送给她们，也没有表达任何意愿要帮助他们的娘家人。张婕妤对尹德妃说：“秦府那些人在战场上待的太久了，对于深宫之中的事情不是很了解，我们有必要给他们一点友情提醒。”尹德妃说：“这么做会不会让东宫方面不高兴呢？”张婕妤说：“做生意只愿意把货物卖给特定的买家，这是没什么出息的，因为只要对方不买你的货物，你的生意就做不下去了。对于贩卖货物的人来说，买家自然是越多越好，如果有人不开窍，我们适当的提点一下，既对他们有利，也对我们有利。至于东宫会不会不高兴，我没必要考虑太多，以为现在是东宫有求于我们。”
不久之后，张婕妤托人给秦府捎去了一封信，希望世民能够给她的哥哥安排一个职位，原以为即使世民不答应也会委婉的表达拒绝之意，没想到世民有极其粗暴直接的方法予以拒绝。这一下子惹怒了张婕妤，尹德妃说：“我早就听说秦王这个人从来不讲情面，在战场上杀伐决断只在瞬息之间，如此一个狠人，怎么会把你我放在眼里呢？”张婕妤哼了一声说：“她敢不把我放在眼里，我就让他死无葬身之地。”张婕妤很生气，张婕妤的那位哥哥更生气，听说世民直接拒绝了张婕妤的提议，建成叹口气说：“秉持公议，我不如世民。”元吉冷笑着说：“世民这根本就是在自掘坟墓，大哥却在赞美他。”魏征说：“殿下，秦王这个人在战场上是一位非常狡猾勇猛的将军，他绝不会不知道张婕妤的本事，或许他有另外一种考虑。”
元吉说：“你说他的另外一重考虑是什么？”魏征说：“目前我也想不明白。”之后，齐王府的人告诉张婕妤的那位哥哥，说秦王根本就没有把张婕妤放在眼里，甚至说秦王在背地里说了很多关于张婕妤的坏话。有一次，张婕妤的哥哥乘坐马车在街上横冲直撞，突然看到了秦府的杜如悔，二话不说就让家丁冲过去一顿暴打。这个家伙坐在马车里不停的叫嚷着，说：“让你小瞧我金贵的妹妹。”事情发生之后，世民立刻去看望受伤的杜如晦，见面之后，发现杜如晦伤的并不重，笑着说：“房先生算到今日我有祸事，要不是早有防备，今天我很可能过不了这一关。”原来这一天他外出的时候穿的衣服厚度十倍于往日，世民叹口气说：“房先生真是神人。”杜如晦说：“大王一定要把这件事情闹大，要让所有的人都知道与张婕妤与尹德妃不合，只要让大家都深信这一点，往后这个女人再想诋毁我们，皇上对她的话，至少会打个折扣。”
世民点点头说：“我现在担心的是张婕妤会想办法让这件事的罪责归在你的头上。”杜如晦笑着说：“放心吧！我已经有了防备。”于是世民亲自来到宫中告状，且出示了张婕妤寄给他的那封信，皇上挠着头皮说：“二郎，你能替我安天下，就不能替我齐家吗？”世民一下子不知道该说什么好，之后他就被轰了出去。皇上的想法是先各打五十大板，以确认皇上的权威。然后再想办法和稀泥，他把张婕妤叫到身边说：“你做了朕的妃子，朕何曾少了你张家的富贵，再说了，你打谁的主意不好，去招惹二郎，这厮从小就不安分，又在战场上出生入死多年，自然少了一些人情世故，只认死理不知变通，再说你那个宝贝哥哥胆子也太大了，那个杜如晦好歹也是朝廷命官，你要朕的颜面往哪儿放。”
张婕妤哭着说：“皇上说的没错，自从我做了你的妃子张家不曾少了富贵，我这么做只是想给秦王一个尽孝的机会，他不识抬举也都罢了，竟然公开的羞辱臣妾。那个杜如晦挨打完全是由秦王一手制造，皇上想想开，我一个身在身骨之内的女人，如何能够算计得了一位功勋卓著的亲王？”张婕妤的话似乎字字在理，于是皇上下旨将世民训斥了一通，杜如晦也因此受到了处罚。长孙无忌一脸不高兴，却看见房乔和杜如晦两个人在那里偷笑，长孙无忌说：“你们两个也太不像话了，秦府折了这么大的颜面，你们竟然能若无其事的在这里说笑。”房乔说：“请你稍坐，容我说出原因。”长孙无忌眨着眼睛聚精会神的听着，房乔捋着胡须说：“如果我猜的没错，此时魏征正在极力劝说建成杀掉秦王，甚至他们已经在积极策划这件事情了，但看他们目前如此努力的要结交中的二位宠妃，说明建成还没有下决心直接杀掉秦王，所以我们与宫中二位宠妃的关系越糟糕，他们采取非常手段的可能性就越小。”
长孙无忌看着房乔，说：“这件事你不要怪我，也不要怪大王，毕竟下决心杀自己的兄弟，不是一件容易的事。”房乔说：“听天命，尽人事吧！”因为秦府得罪了两位宠妃，所以那些失宠的妃子几乎无一例外的站到了秦王这一边，只不过她们对皇上的影响非常有限，只能在后宫打探一点消息而已。而此时，东宫这边收获却越来越大，皇上对秦府的警惕心越来越高，世民虽然拥有极高的荣誉，却成了整个朝廷之中最为闲散的人。所有人都认为大局已定，魏征也忍不住说：“如果能够不杀秦王而让东宫的位置巩固，这当然是上上之策。”但是不久之后，房乔所说的世民命中的贵人开始行动了，新上来的颉利可汗在义成公主的极力劝说之下，不断的侵扰边境。掳掠的财务和人口越来越多，颉利在草原上的威望越来越高。与此同时，窦建德生前的爱将刘黑闼恢复了窦建德生前所控制的全部疆界，一时间山东豪杰望风归顺。
这个时候建成恨死了这些胡虏，一位不起眼的幕僚趁机劝说道：“殿下，这些胡虏根本听不清礼义廉耻，只能用死亡来教训他们。”于是建成采纳了这个人的建议，将本已经投降的五千名胡虏兵杀掉了。希望以此可以震慑北边的胡虏，我也没有想到，此举不但颉利可汗进一步有了讨伐中原的口实，更让那些追随刘黑闼的人，认定即使投靠大唐也不会有好结果。过于形式，皇上终于一次启用世民，世民率领大军来到山东，当年以区区五千骑兵就击垮了窦建德的大军，面对大军压境，这些乌合之众很快就被击垮了，投降之后，房乔说：“对于锄头来说，留着这些草根，才能让主人知道锄往后还有用处。”于是，世民率领大军撤出山东，出其不意出现在了雁门、并州，胡虏立刻退兵，并且与世民面对河水盟誓，往后胡汉两家要和睦相处，永不再战。
班师回朝之后，世民立刻被收缴了虎符，他继续回去与十八学士谈论经学。然而没过几个月，已经投降的刘黑塔再次反叛，世民担心被怀疑上一次平叛的时候未能尽心，这一次主动请缨要去平叛，皇上却迟迟未能作出决定。魏征来到东宫，说：“殿下，臣有办法让殿下兵不血刃就可以平定山东。”建成说：“皇上会让我去吗？”魏征说：“你是说杀掉五千胡虏兵那件事吗？其实那也是皇上想干的事情，放心吧！秦王的大名已经威震海内，他还想立功？他要是再立功，皇上还能睡得着觉吗？”