这就要说到与辽国的另一场战役了。
986年，宋太宗决定北伐辽国，兵分三路，收复燕云十六州。潘美和杨业以及曹彬等人分别领军。作为监军的王侁虽然没有潘美的官位高，但却代表着皇权，监管各军。
结果曹彬被辽军大败，潘美和杨业虽然已经收复了四州，但也不能孤军深入，只好撤军于朔州。
可是杨业和王侁在探讨如何将四州百姓撤走时，杨业的方案被王侁否定，并被污蔑成了懦弱之辈，另有他心。
杨业为了表示对大宋的忠心，决定亲自带兵袭击辽军，并让王侁和潘美在陈家谷口设下埋伏，待其将敌人引至这里便开始伏击。结果王侁等待多时都未见杨业，错判战情，撤军离开了陈家谷口。
杨业到达时不见兵卒，只能拼死奋战，最终被俘虏，绝食而亡。
当时潘美是反对王侁撤兵的，也曾进行过劝阻，只是碍于王侁代表着皇权，纵然官职高于王侁，但也得听其命令，只能随之撤退。
杨业作为宋太宗的爱将，得知其死讯后，宋太宗即悲痛又气愤。随即把王侁罢官流放，潘美降职三级。
在他被降级之后的一年时间里，虽然有过三次升迁，但没过多久便与世长辞，终年 67岁。这里便能看出潘美在此次事件中并不负有重要责任。
到了明代，民间却把杨家将的故事编写成了《杨家府演义》。
在这部小说中，杨家将喋血沙场，舍身报国，可谓是宋朝的顶梁柱。而故事中为了衬托出杨家将的忠义形象，便塑造了一位名叫潘仁美的奸臣。
此人用尽阴险的手段迫害杨家，简直可恨到了极点。作者可能是为了蹭流量，把奸臣潘仁美的名字设计得与潘美相似。
所以潘美就被民间定义成了潘仁美那样的形象。再加上小说演绎以及影视作品的传播比真实的历史更为广泛，所以大多数人会把潘美当成奸贼之中的标杆人物。
通过正史与小说对比，两潘之间的形象是截然不同，甚至可以说除了名字之外没有任何关联，完全是《杨家府演义》的作者通过杨业事件激发灵感而想象出来的剧情。以至于潘美被黑化了如此之久。
——“潘美还好，潘仁美才是最惨的，被人黑了多少年了，实际上根本没有这个人。