楊素全力支持楊廣繼位，可以說有恩于楊廣。
可是在楊廣繼位之后，不只沒有收到楊廣的任何感激，反而在接受第一個、也是唯一的一個任務后，舉步維艱，比楊堅在位時差了不知凡幾。
而且楊廣數次表達對楊素過于奢侈，不體恤百姓的不滿。
楊素出身高門大閥，從小就奢侈習慣了。
至于不體恤百姓，楊素治軍靠的就是不把人當人。
為何能百戰百勝？那是因為賞罰分明。
他連手下的士兵都不當人，能把一般的老百姓當回事嗎？
別人指責楊素，楊素理都不會理，但指責他的是楊廣，他就不能不往心里去了。
可以說自從他扶楊廣繼位以后，他人生最倒霉的日子就開始了。
楊素開始擔憂自己的財產更甚于關心修建洛陽的進程。
在洛陽才修一半的時候，楊素找來了他的好友魯妙子幫忙設計開合橋、星津浮橋，緊接著就讓魯妙子為他設計楊公寶庫。
楊素以為，自己修建寶庫不用走楊廣的賬，自己掏錢，抽調部分工匠為自己建寶庫能神不知鬼不覺。卻不知天下的能工巧匠魚贊手里就握了十之七八，楊素即便不從建洛陽的工匠中抽調，也逃不出魚贊的監視。
他那里一動工，魚贊就知道了，趕快報告給了楊廣。
楊廣不動聲色，甚至不讓魚贊把精力放在這里，只是叮囑魚贊工程結束時告訴自己一聲。
洛陽剛建完，楊素就死了，而這個寶庫也是在楊素死后不久完成的。
楊廣之所以不管楊素私修寶庫，那是因為楊廣已經認為這個寶庫是自己的了。
楊廣并沒有想過要抄楊素的家，畢竟對于楊廣個人而言，楊素是個有功之人。
至于說他貪腐，如果楊廣想治理貪腐，恐怕把整個朝廷殺光了才行。這是制度性問題，誰放到那個位置，都會貪腐，楊廣需要用制度慢慢去改變。
雖說楊素富可敵國，但楊廣還真不把他的那點兒財產放在眼里。
但楊素把財富都放到寶庫里可就不同了。要知道，寶庫里不只有財寶，還有兵甲。冷兵器時代，挎個刀、別把劍都不叫事兒，但私藏甲胄，卻是以謀反論處。
楊素敢在寶庫里放鎧甲，楊廣就可以殺他。
楊廣讓楊素體面的死去，就是對他最大的恩典，算是還他從龍的人情。
楊廣突然問道：“飛馬牧場還是不肯交出賬本？”
魚贊也是一愣，不明白楊廣怎么突然又想起了飛馬牧場的事。
不過魚贊馬上道：“陛下，飛馬牧場油鹽不進，任何時候都不會改變自己的中立立場。”