這兩大政治勢力不認同和楊堅一樣強勢的楊廣，他們生怕楊廣繼續沿着楊堅既定的路線走，便在發動仁壽宮政變之前的仁壽二年就默默的支持起了楊諒。他們爲了搞亂天下、推翻楊堅一切不利於他們的政策，在楊諒身上花了巨大的人力物力，一步步的催生楊諒的野心，然而楊諒反是反了，可他敗得實在是太快、太慘，導致兩大政治投下的巨資如同石沉大海一般，連個水花都沒有興起，就沉了下去。
支持他的人生怕遭到出賣、遭到清算，一聽說他在獻太原城投降，立刻冠冕堂皇的要求楊廣宰了這個活口，楊廣卻說“始終是兄弟，在情不忍心，免其一死”，於是削其爲民、驅逐出皇族。
事後，楊諒果真像那些人所擔心那般，他非但沒有自殺身亡，反而利用手中的罪證，把那些曾經支持他的人賣得一乾二淨，他倒是活下來了，可是因爲他的出賣，導致許許多多人慘遭楊廣清算。
對於這種不講武德的混蛋，誰不恨之入骨？
與楊諒相比，老四楊秀就省心多了；楊秀早在開皇未間就被楊堅逐步削去權力、直到仁壽二年才被楊堅拿下，他沒有楊諒那麼多齷齪事、仇家也沒那麼多。當然了，這只是相對而言，只因楊秀在楊堅的點撥之下，也坑了包括元巖和元衡在內的一百多個。
兄弟倆雖然化作平民了，但楊廣並沒有虧待自己的弟弟，始終讓他們大興宮宮城西南角的內侍省，內侍省佔地面積比三省中的任何一省都大，其中一半劃歸內侍省，一半用來給他們兩家居住，除了不能離開這個大院之外，一切如常。
兩家人和秦王楊俊、楊勇的遺孤各自住在一個大院子裏，而且四家人平時也能自由走動，倒也熱鬧。
晌午時分，楊秀和楊諒被楊廣召集到安仁殿後苑，兄弟三人坐在一座涼亭中。
楊秀和楊諒雖然不知楊廣爲何忽然召見他們，但是他們兄弟倆絕了奪位、仕途之念，反而將一些事看透了，又經過幾年的交流，使得以前很多想不通的事情，全都豁然開朗：他們父親生前佈下了一盤大棋，他們兄弟幾個都是父親手中的棋子，便是楊廣也不例外；楊廣哪怕是成了皇帝，也只能沿着父親既定的國策走，連回頭、調整的機會都沒有。
區別的是，老二被父親選爲下一任棋手，而他們則是棋子；以前是很不甘心，但是現在，他們發現自己真不是當棋手料子，要是和楊廣易地而處，他們被別人怎麼玩死都不知道。
中間的石桌之上，擺滿了山珍海味，楊廣看着默不作聲、神情複雜的楊秀、楊諒，發現倆人比當年穩重澹然了許多，楊諒眼神之中亦沒有了當年的桀驁，看起來算是放下了。他拿起酒壺，爲兄弟三人各斟一杯。
“老四、老五，過去的事情，就讓它過去吧。”楊廣放下酒壺，向兩人說道：“我不敢說自己比阿耶有能力，可是我並沒有辜負阿耶厚望，大隋王朝在我手上正蒸蒸日上、步步富強。如今吐谷渾已經完了，吐谷渾東西四千裏、南北二千里故地皆爲大隋所有。”
“當真？”聽了此話，楊秀和楊諒都向楊廣望去，目光中充滿了震驚。
“嘿，那小混蛋太狡猾了，騙我那麼慘，虧我以前還當他是好兄弟呢……”楊廣那話，讓楊諒臉都黑了。
他喫敗仗也就罷了，事後還被楊集那個小混蛋坑慘了：當初在太原城的時候，兄弟倆本來是說得好好的，只要他交出罪證，楊集就會悄悄地運回大興城、幫他說情。不料那小混蛋不講武德，甫一拿到想要的東西，立刻出爾反爾、翻臉不認人，然後大張旗鼓的拖了很多很多並不是罪證的罪證回京了。
而那些做賊心虛的人聽說是他楊諒的罪證之後，個個信以爲真，個人以爲百多車財寶都是罪證，所以不等他被押解到大興城，那些該死的混蛋，就要楊廣處死他，希望來他個死無對證。
但是楊諒早已想通了，內心深處還是十分感激楊集的，他知道楊集那麼做是爲他好、爲了保全他，也是因爲楊集那麼一鬧，使他成爲人人喊打的過街老鼠，再也沒有半點人脈關係，而楊廣自然不會把他當作威脅了，他這輩子壽終正寢肯定是不成問題了。
“你得感激他！”楊廣笑着說道。
楊諒默然半晌，向楊廣問道：“我很好奇，阿耶明明知道我加強太原防備是招兵買馬藉口，爲何他答應了？”
楊廣雖然不想打擊他，但還是說道：“阿耶知道你有反叛的意圖，料到自己一旦作古，你一定會起兵造反。故而就放任了。”
楊諒到底不是傻子，慢慢就反應了過來，震驚的說道：“我明白了，阿耶和你的目的是關隴貴族和山東士族裏的不安分之士，你們要借剿滅叛亂之機，把這類人一網打盡！”
這個計劃深謀遠慮，大膽至極，幾乎把反對楊廣、反對隋朝一切政策的所有人都裝進了套子裏，然後一網打盡，奠定了楊廣的無上權威。
“但是你、你、你們難道就不怕我打贏了？”楊諒結結巴巴的問道。
“起初，我和阿耶並不害怕，也不認爲你打得過七十萬京兵。”說到這裏，楊廣臉色變得異常難看，冷哼一聲道：“然而在你起兵造反之初，堂堂七十萬京兵，我竟然連五萬士兵都指揮不了，又聽說你要直指關中，我是夜不能寐啊！”說到這兒，楊廣瞥了楊諒一眼，說道：“還是阿耶厲害，他早就把你給看透了，讓我用不着擔心。”
“阿耶怎麼說？”這下子，連楊秀也好奇起來了。
“阿耶說老五笨，根本不可能打得贏，讓我大可放心。”楊廣說道：“果然不出阿耶所料，老五有實力、有能力，只要他堅定的向關中進軍，那些內應一定獻關獻城，這樣一來，他就贏定了，還好，老五笨……”
“……”楊諒被打擊得體無完膚、神經錯亂！但是事實就是如此，如果他聰明，也不會放棄兵進關中、生擒楊廣的大計了。
楊廣又說道：“不過有一點，老五非常聰明……”
“哪一點、哪一點。”楊諒滿是期待的看着楊廣，急衝衝的問道，他希望自己不是那麼笨。
楊廣說道：“你沒有引突厥兵南下！”