楊廣乃命治丹楊宮，將徙都之。
卻這楊廣此意，實一意孤行，既無深謀遠慮，亦乏審時度勢。虞世基等江東人，當然希望借此鞏固自身地位，可朝中的那些北地大臣，還有從駕在江都的驍果將士也多北方人，他們對江東并無歸屬感，父母妻子都在家鄉，他們怎么可能會愿意跟著楊廣從此留在陌生的江南？
加上江都糧盡，物資匱乏，果真是如李善道與魏征等人所說，朝中的北地大臣、從駕的驍果將士，人心思歸，見楊廣無西還之意，便乃大都私下商議叛歸，軍心浮動，士氣低落。
郎將竇賢帥所部西走，楊廣遣騎追斬之，而亡者猶不止。
扶風人虎賁郎將司馬德戡素有寵於楊廣，楊廣相信他，使他領驍果屯於東城。司馬德戡與所交好的虎賁郎將元禮、直閣裴虔通相謀，說道：“今驍果人人欲亡，我欲向皇帝稟報，恐先事受誅；不稟報，於后事發，亦不免族滅，奈何？又聞關內淪沒，李孝常以華陰叛，上囚其二弟，欲殺之。我輩家屬皆在西，能無此慮乎？如我輩家屬也叛，我輩豈不亦死？”
——李孝常，隴西成紀人，李淵入關中時，他為華陰令，將城與境內的永豐倉都獻給了李淵。
聽了司馬德戡這話，元禮、裴虔通二人皆懼，問他：“然計將安出？”司馬德戡說：“驍果若亡，不若與之俱去。”與之俱去，或可保全性命，且能謀一立足之地；而若繼續留在楊廣身邊，前途未卜，生死難料，況關內局勢動蕩，家屬的安危亦令人憂心。兩人因俱贊同。
三人由是轉相招引，內史舍人元敏、虎牙郎將趙行樞、鷹揚郎將孟秉、符璽郎李覆、牛方裕、直長許弘仁、薛世良、城門郎唐奉義、醫正張愷、勛士楊士覽等皆與之同謀，日夜相結約，即使是大庭廣眾，也明論叛計，無所畏避。有宮人悄悄地告訴蕭后：“外間人人欲反。”蕭后叫她進稟楊廣。結果，不料楊廣大怒，以為非所宜言，斬之。其后宮人復向蕭后告密，蕭后也不管了，只說：“天下事一朝至此，無可救者，何用言之！徒令帝憂耳！”自是無復言者。
趙行樞與將作少監宇文智及素厚，楊士覽是宇文智及的外甥，兩人以謀告宇文智及。
宇文智及聽了，高興得不得了。
隋之肇建，至今才兩代，三十多年。隋以前，十六國、北朝歷代，長達二百多年間，無不權臣當道，篡國者屢見不鮮。所謂“皇帝輪流做，明年到我家”。眼看著李淵、李密各在關中、中原起了偌大聲勢，與李淵、李密一樣，同為北周八柱國之后的宇文智及，實早生篡隋之心！
司馬德戡等期以三月望日結黨西遁，宇文智及便煽動他們說：“主上雖無道，威令尚行，卿等亡去，正如竇賢取死耳。今天實喪隋，英雄并起，同心叛者已數萬人，因行大事，此帝王之業也。”司馬德戡等人竟皆以為然。一眾人計議過后，決定舉宇文智及與其兄宇文化及為主。結約既定，乃告宇文化及。宇文化及性駑怯，聞之，變色流汗，被逼無奈，只好從之。
——這個關頭了，不從也得從。謀反是何等事？是掉腦袋、滅九族的事！一群人把這種事都告訴你了，要擁你為主，你敢不同意么？不同意，先死的就是你！
主既已立，司馬德戡使許弘仁、張愷入左右備身府，告所識者：“陛下聞驍果欲叛，多置毒酒，欲因宴會，盡鴆殺之，獨與南人留此。”左右備身府，原為領左右府，大業三年改制為左右備身府，掌千牛備身、司射左右等，負責的是宮廷侍衛事；大業十一年，為制衡本有之府兵，也是為強化禁軍，楊廣將驍果由志愿役改為義務役，編入了左右備身府。亦即，左右備身府是專管轄驍果的軍事機構。驍果將士何能辨得真偽？聞之皆懼，轉相告語，反謀益急。
叛亂的時機已經成熟，司馬德戡悉召驍果軍吏，諭以所為，軍吏皆云：“唯將軍命！”
這一天，風霾晝昏。晡后，司馬德戡盜走了御廄的馬，潛厲兵刃。到至傍晚，元禮、裴虔通輪值閣下，專主殿內；唐奉義主閉城門，他亦謀亂者之一，與裴虔通相知，諸城門皆不關閉。至三更，司馬德戡於東城集兵得數萬人，舉火與城外相應。