1980年，上海。胡也佛先生去世，他最有名的作品是《金瓶梅秘戏图》，据说画了三十张，当时市场价格是一两黄金三幅画，大千老师见“媚韵之作”拍手叫绝，直叹“自弗不如”。
正是这最为著名的《金瓶梅秘戏图》，为他后来的人生种下了祸根。1952年，公安机关通知其上缴春宫画原件，今后不得再画。在那段特殊的时期，被批斗百余次。
1980年，胡也佛患上肺癌，去世之前，他仍旧创作，只因手抖，不能写字，于是只盖印章。画得不满意的画，都被他扔到废纸篓里，他坚持不肯自称画家，而定论自己为——一个“画匠”。