楊素與薛道衡更是知交好友，他給寫薛道衡的十多首詩乃是當世杰作。此時一聽老友出聲反對，楊素臉色為之一僵，露出了無奈之色。
最先提出禪定寺這個巨大工程的人其實是楊廣，除了緬懷亡母，還有討好佛門之意，而楊堅確定這項工程以后，反對者紛紛把矛頭指向楊廣，有的人是真的反對浪費，但更多人是為了反對而反對，事態演變至今，禪定寺已經有了認清派別的政治用意。
然而文氣過人、政治不明的老友顯然沒有意識個中含義，更讓楊素感到棘手的是，薛道衡以獨孤皇后生平為人來勸諫，讓人無從破解、無從反對。
經他這么一說，要是繼承修禪定寺，那么便是玷污皇后美名；要是不修，既是壞了圣人緬懷、紀念亡妻之興致，也是毀了楊廣辨別敵友的用意。
“圣人，臣也反對修建禪定寺。”不出楊素所料，當薛道衡一開口，尚書左丞元壽便順著薛道衡的意思說道：“大興土木、耗費財力民力無數，圣人當初也說大隋新建，當以節儉為上，此言猶在，臣以為我等君臣不可忘懷須臾。”
右御衛將軍張瑾也出列道：“圣人，不能失信于民啊！”
“圣人，臣也反對修建禪定寺，以免文獻皇后美名沾塵。”
“圣人，臣堅決反對建寺，若圣人堅持，臣以死諫之！”
大殿里反對之聲激烈，反對之堅決令楊堅、楊廣、楊素始料未及。而且理由都是皇帝不能出爾反爾、不能使賢后之名受污，個個都是為帝后著想、個個都是忠臣。
楊廣萬萬想不到事情變成這樣，臉色數度變色，眼見父皇猶豫不絕，心中焦急萬分。
他為了圓父皇紀念母后之心、為了圓自己感激母后恩情，不久前以監國太子名義，詔令天下各地數百名大德高僧及其弟子赴京入駐禪定寺，此寺如果修不成了，自己就是失信天下佛門。
要是遍布天下佛門信徒知道自己“欺騙”了幾百名大德高僧，非要發起暴亂不可。事態要是演變到那一步，自己難辭其咎，若是反對勢力借機鬧事，搞不好會因此下臺。
心急如焚的楊廣看了看楊素、蘇威、宇文述，發現幾人盡皆無言以對。他也知道大家繼續爭辯的話，馬上被前太子派系以“玷污帝后清名”加以攻擊，搞不好被父皇遷怒，如果不爭又損失到自己，他們夾在中間很難做人。