明太仓王思质（忬）家藏右丞所写《辋川真迹》，严世蕃闻而索之。思质爱惜世宝，予以抚本。世蕃之裱工汤姓者，向在思质门下，曾识此图，因于世蕃前陈其真赝，世蕃衔之而未发也。会思质总督蓟辽军务，武进唐应德（顺之）以兵部郎官奉命巡边，严嵩觞之内阁，微有不满思质之言，应德颔之。至思质军，欲行军中驰道，思质以己兼兵部堂衔难之，应德怫然，遂参思质军政废弛，虚縻国帑，累累数千言。先以稿呈世蕃，世蕃从中主持之，逮思质至京弃市。
到了清人的《缺名笔记》又把这故事变动一下：
《金瓶梅》为旧说部中四大奇书之一，相传出王世贞手，为报复严氏之《督亢图》。或谓系唐荆川事。荆川任江右巡抚时有所周纳，狱成，罹大辟以死。其子百计求报，而不得间。会荆川解职归，偏阅奇书，渐叹观止。乃急草此书，渍砒于纸以进，盖审知荆川读书时必逐页用纸黏舌，以次披览也。荆川得书后，览一夜而毕，蓦觉舌木强涩，镜之黑矣。心知被毒，呼其子曰：“人将谋我，我死，非至亲不得入吾室。”逾时遂卒。