这两大政治势力不认同和杨坚一样强势的杨广，他们生怕杨广继续沿着杨坚既定的路线走，便在发动仁寿宫政变之前的仁寿二年就默默的支持起了杨谅。他们为了搞乱天下、推翻杨坚一切不利于他们的政策，在杨谅身上花了巨大的人力物力，一步步的催生杨谅的野心，然而杨谅反是反了，可他败得实在是太快、太惨，导致两大政治投下的巨资如同石沉大海一般，连个水花都没有兴起，就沉了下去。
支持他的人生怕遭到出卖、遭到清算，一听说他在献太原城投降，立刻冠冕堂皇的要求杨广宰了这个活口，杨广却说“始终是兄弟，在情不忍心，免其一死”，于是削其为民、驱逐出皇族。
事后，杨谅果真像那些人所担心那般，他非但没有自杀身亡，反而利用手中的罪证，把那些曾经支持他的人卖得一干二净，他倒是活下来了，可是因为他的出卖，导致许许多多人惨遭杨广清算。
对于这种不讲武德的混蛋，谁不恨之入骨？
与杨谅相比，老四杨秀就省心多了；杨秀早在开皇未间就被杨坚逐步削去权力、直到仁寿二年才被杨坚拿下，他没有杨谅那么多龌龊事、仇家也没那么多。当然了，这只是相对而言，只因杨秀在杨坚的点拨之下，也坑了包括元岩和元衡在内的一百多个。
兄弟俩虽然化作平民了，但杨广并没有亏待自己的弟弟，始终让他们大兴宫宫城西南角的内侍省，内侍省占地面积比三省中的任何一省都大，其中一半划归内侍省，一半用来给他们两家居住，除了不能离开这个大院之外，一切如常。
两家人和秦王杨俊、杨勇的遗孤各自住在一个大院子里，而且四家人平时也能自由走动，倒也热闹。
晌午时分，杨秀和杨谅被杨广召集到安仁殿后苑，兄弟三人坐在一座凉亭中。
杨秀和杨谅虽然不知杨广为何忽然召见他们，但是他们兄弟俩绝了夺位、仕途之念，反而将一些事看透了，又经过几年的交流，使得以前很多想不通的事情，全都豁然开朗：他们父亲生前布下了一盘大棋，他们兄弟几个都是父亲手中的棋子，便是杨广也不例外；杨广哪怕是成了皇帝，也只能沿着父亲既定的国策走，连回头、调整的机会都没有。
区别的是，老二被父亲选为下一任棋手，而他们则是棋子；以前是很不甘心，但是现在，他们发现自己真不是当棋手料子，要是和杨广易地而处，他们被别人怎么玩死都不知道。
中间的石桌之上，摆满了山珍海味，杨广看着默不作声、神情复杂的杨秀、杨谅，发现俩人比当年稳重澹然了许多，杨谅眼神之中亦没有了当年的桀骜，看起来算是放下了。他拿起酒壶，为兄弟三人各斟一杯。
“老四、老五，过去的事情，就让它过去吧。”杨广放下酒壶，向两人说道：“我不敢说自己比阿耶有能力，可是我并没有辜负阿耶厚望，大隋王朝在我手上正蒸蒸日上、步步富强。如今吐谷浑已经完了，吐谷浑东西四千里、南北二千里故地皆为大隋所有。”
“当真？”听了此话，杨秀和杨谅都向杨广望去，目光中充满了震惊。
“嘿，那小混蛋太狡猾了，骗我那么惨，亏我以前还当他是好兄弟呢……”杨广那话，让杨谅脸都黑了。
他吃败仗也就罢了，事后还被杨集那个小混蛋坑惨了：当初在太原城的时候，兄弟俩本来是说得好好的，只要他交出罪证，杨集就会悄悄地运回大兴城、帮他说情。不料那小混蛋不讲武德，甫一拿到想要的东西，立刻出尔反尔、翻脸不认人，然后大张旗鼓的拖了很多很多并不是罪证的罪证回京了。
而那些做贼心虚的人听说是他杨谅的罪证之后，个个信以为真，个人以为百多车财宝都是罪证，所以不等他被押解到大兴城，那些该死的混蛋，就要杨广处死他，希望来他个死无对证。
但是杨谅早已想通了，内心深处还是十分感激杨集的，他知道杨集那么做是为他好、为了保全他，也是因为杨集那么一闹，使他成为人人喊打的过街老鼠，再也没有半点人脉关系，而杨广自然不会把他当作威胁了，他这辈子寿终正寝肯定是不成问题了。
“你得感激他！”杨广笑着说道。
杨谅默然半晌，向杨广问道：“我很好奇，阿耶明明知道我加强太原防备是招兵买马借口，为何他答应了？”
杨广虽然不想打击他，但还是说道：“阿耶知道你有反叛的意图，料到自己一旦作古，你一定会起兵造反。故而就放任了。”
杨谅到底不是傻子，慢慢就反应了过来，震惊的说道：“我明白了，阿耶和你的目的是关陇贵族和山东士族里的不安分之士，你们要借剿灭叛乱之机，把这类人一网打尽！”
这个计划深谋远虑，大胆至极，几乎把反对杨广、反对隋朝一切政策的所有人都装进了套子里，然后一网打尽，奠定了杨广的无上权威。
“但是你、你、你们难道就不怕我打赢了？”杨谅结结巴巴的问道。
“起初，我和阿耶并不害怕，也不认为你打得过七十万京兵。”说到这里，杨广脸色变得异常难看，冷哼一声道：“然而在你起兵造反之初，堂堂七十万京兵，我竟然连五万士兵都指挥不了，又听说你要直指关中，我是夜不能寐啊！”说到这儿，杨广瞥了杨谅一眼，说道：“还是阿耶厉害，他早就把你给看透了，让我用不着担心。”
“阿耶怎么说？”这下子，连杨秀也好奇起来了。
“阿耶说老五笨，根本不可能打得赢，让我大可放心。”杨广说道：“果然不出阿耶所料，老五有实力、有能力，只要他坚定的向关中进军，那些内应一定献关献城，这样一来，他就赢定了，还好，老五笨……”
“……”杨谅被打击得体无完肤、神经错乱！但是事实就是如此，如果他聪明，也不会放弃兵进关中、生擒杨广的大计了。
杨广又说道：“不过有一点，老五非常聪明……”
“哪一点、哪一点。”杨谅满是期待的看着杨广，急冲冲的问道，他希望自己不是那么笨。
杨广说道：“你没有引突厥兵南下！”