他们有一位名叫黄堂的好友因为官的武大郎不愿借职位之便提携他,从而怀恨在心并四处散播他们夫妇的谣言。而施耐庵听到谣言之后更是不顾事实真相就将听到的谣言直接给写进了书里,之后随着《水浒传》一书的广泛传播,潘金莲夫妇的名声也因此深受诋毁。受此事的影响,武大郎、潘金莲夫妇所在的清河县的潘、武两姓氏长达数百年不通婚。
历史上真实的潘金莲一点都不水性杨花,反而以贤良著称。潘金莲出生于清河县当地的一个官宦家庭,她爹是贝州知州。潘金莲自小接受教育,是当地颇具知名度的一个千金小姐。而她丈夫武大郎虽家境贫寒,但是他本人却才学出众,且能文尚武。武大郎曾经为了生计在潘金莲家中打工,也因此得到未来岳飞的赏识。之后在这位岳飞的做主下,潘金莲嫁于武大郎为妻,之后两人便一直恩恩爱爱到白头偕老。
后来武大郎顺利考取进士,并被派往山东阳谷担任县令一职。这个期间武大郎有一位名叫黄堂的好友因家中失火,于是前来找他帮助。武大郎还未发迹时曾经得到过这位好友的帮助,所以见到黄堂之后也是好酒好菜招待了他一番,但是却从头到尾不提提携之事。黄堂因此感到非常生气,于是在启程回家途中到处散播武大郎夫妇的谣言,说他们二人感情不和,潘金莲私下与人私通等等。
不过当黄堂返回家中时,他发现在火灾中烧毁的房子已经焕然一新,这时他才得知武大郎并非没有帮他。虽然这时黄堂已经感到无比懊悔,但是他之前散播出去的谣言已经撤回不得。而且就连黄堂也没有预料到他所说的谣言会散播的那么快,最后还被写书的施耐庵给听到并写进了书里。武大郎夫妇的名声就因为他一时误解所传播出去的谣言而被严重损坏。