但不久，因为曹彬所带领的东路军队在岐沟关被辽朝大败，潘美在接到皇帝的召令之后不得不撤退。可就在掩护当地百姓撤退时，潘美轻信了监军王侁的建议，犹豫不决，导致了杨业去世。
这是因为潘美轻信了监军王侁的话语，在关键时刻选择撤退，这让杨业壮烈牺牲。而杨业牺牲之后，宋太宗非常难过，流放了王侁同时，潘美也被连降三级。
而经此之后，潘美也被后人进行了丑化。
在这部《杨家将》戏剧中，百姓对于杨家将在战场上浴血奋战感到热血澎湃，杨家将七子去六子无，感到深深同情，戏曲中的大奸臣潘仁美，他的原型就是潘美，处处与杨家作对，并且勾结辽人，作恶多端，嚣张跋扈，权势甚大，影响朝政，。这些都是戏曲评书作者的杜撰而已。
潘美他被丑化的根本原因，就是在于杨业之死。传统的戏剧等，为了纪念杨业才不断地将这件事情进行无限的夸张的结果。宋代之后的戏曲和在民间盛行，人们甚至将当做正史来看待了。
其实，战败的第二个原因就是北宋的重文轻武的国策，造成杨业战死的根本人物是监军王侁。监军顾名思义就是监视军队，在北宋的打国策之下，对于武将充满了不信任，担心他们会发动叛乱，于是派了文官来监军，胡乱参与指挥。
所以造成北伐失利、杨业战死的很大原因是北宋的国策，而宋太宗心里也明白，北伐失利、杨业之死有国策和皇帝的部分原因；可是他不能够自己说出来，这会让大家怀疑他君主的能力，所以只能将责任归结到潘美身上。
第三个原因，当时跟潘美犹豫不决，也有直接关系，但凡当时潘美能够坚定地做出决定，派一支兵马接应，杨业或许不会战死。为此，潘美的后半生也曾为杨业战死而一直感到有愧。
但平心而论，潘美一生的战功比杨业多很多，他在宋朝的地位更是举足轻重，宋朝朝廷一直都将他看做是大忠臣。正史上对于他的记载多是他所建立的丰功伟绩。只是后来百姓们被杨家将系列文学作品影响，没有真正地了解潘美，才误认为他个无能之辈，一个大奸臣。
此时此刻，潘美坐镇后方，指挥三军，骑兵、步兵、弓箭方阵的配合，天衣无缝，摧枯拉巧突破了唐军第一道防线和第二道防线。
“杀啊——”
千军万马，势若雷霆，铁骑滚滚而来，无坚不摧。
唐军第二道防线也有些岌岌可危。
郑王李从善看到这一幕，有点心惊胆跳了，他忽然想到了林仁肇，如果他在此，会如何指挥作战呢？
越是危难时候，李从善才意识到，自己经验不足，肩负不了这等重任，一个军令不当，就可能造成三军覆灭，死伤无数。
“派人立即去往芜湖、当涂之地，向林仁肇将军求救支援！”