這是因為潘美輕信了監軍王侁的話語，在關鍵時刻選擇撤退，這讓楊業壯烈犧牲。而楊業犧牲之后，宋太宗非常難過，流放了王侁同時，潘美也被連降三級。
而經此之后，潘美也被后人進行了丑化。
在這部楊家將戲劇中，百姓對于楊家將在戰場上浴血奮戰感到熱血澎湃，楊家將七子去六子無，感到深深同情，戲曲中的大奸臣潘仁美，他的原型就是潘美，處處與楊家作對，并且勾結遼人，作惡多端，囂張跋扈，權勢甚大，影響朝政，。這些都是戲曲評書作者的杜撰而已。
潘美他被丑化的根本原因，就是在于楊業之死。傳統的戲劇等，為了紀念楊業才不斷地將這件事情進行無限的夸張的結果。宋代之后的戲曲和在民間盛行，人們甚至將當做正史來看待了。
其實，戰敗的第二個原因就是北宋的重文輕武的國策，造成楊業戰死的根本人物是監軍王侁。監軍顧名思義就是監視軍隊，在北宋的打國策之下，對于武將充滿了不信任，擔心他們會發動叛亂，于是派了文官來監軍，胡亂參與指揮。
所以造成北伐失利、楊業戰死的很大原因是北宋的國策，而宋太宗心里也明白，北伐失利、楊業之死有國策和皇帝的部分原因；可是他不能夠自己說出來，這會讓大家懷疑他君主的能力，所以只能將責任歸結到潘美身上。
第三個原因，當時跟潘美猶豫不決，也有直接關系，但凡當時潘美能夠堅定地做出決定，派一支兵馬接應，楊業或許不會戰死。為此，潘美的后半生也曾為楊業戰死而一直感到有愧。
但平心而論，潘美一生的戰功比楊業多很多，他在宋朝的地位更是舉足輕重，宋朝朝廷一直都將他看做是大忠臣。正史上對于他的記載多是他所建立的豐功偉績。只是后來百姓們被楊家將系列文學作品影響，沒有真正地了解潘美，才誤認為他個無能之輩，一個大奸臣。
此時此刻，潘美坐鎮后方，指揮三軍，騎兵、步兵、弓箭方陣的配合，天衣無縫，摧枯拉巧突破了唐軍第一道防線和第二道防線。
“殺啊”
千軍萬馬，勢若雷霆，鐵騎滾滾而來，無堅不摧。
唐軍第二道防線也有些岌岌可危。
鄭王李從善看到這一幕，有點心驚膽跳了，他忽然想到了林仁肇，如果他在此，會如何指揮作戰呢
越是危難時候，李從善才意識到，自己經驗不足，肩負不了這等重任，一個軍令不當，就可能造成三軍覆滅，死傷無數。
“派人立即去往蕪湖、當涂之地，向林仁肇將軍求救支援”
“是”一名負責斥候、傳令的都虞侯聽到鄭王吩咐，立即安排了幾名斥候快馬前往蕪湖城去傳達軍令。
但遠水解不了近渴，李從善覺得，再打下去，宋軍隨時要打入采石磯大營了，他留在此地，過于危險了。
于是，李從善把指揮權交給了魏明、張錚兩名裨將后，他以不放心水師作戰為由，暫時退回到了大營內。
其實這是李從善做好了隨時登船棄營的準備，一旦發現宋軍攻入大營，他立即登船，帶著水師東進，退往下一地，不能全部覆滅在此。，，