自从1980年以后，所有的重要场合都看不到一个人的身影，这个人就是吴德，因为他已经主动辞去一切职务，虽然他还没有到退休年龄。此后，吴德搬到了一个偏僻的胡同小院里，过着归隐田园式的低调生活，他平时深居简出，也没什么人来看望他，但他早已习惯这种清心寡欲的生活。

吴德晚年不喜欢游山玩水，也不喜欢下棋打牌，他最大的兴趣爱好就是阅读和写作，经常在书房里一坐就是一整天，他对书法艺术颇有研究，尤其擅长临摹瘦金体的字帖。每到傍晚的时候，他就会走出书房到院子里散散步，给花花草草浇浇水。

吴德一直保持着艰苦朴素的生活方式，他从不追求什么物质享受，穿的是补丁旧衣，吃的是粗茶淡饭，更不允许家人搞什么特殊待遇。有一次他听说女儿因下大雨坐公车上班，立即要求女儿将车费交给有关方面，并严肃地批评了她。

晚年的吴德对社会上出现的腐败现象深恶痛绝，每次在报纸上看到类似报道时，他总是气得拍案而起，怒斥那些贪赃枉法的人是祸害老百姓的败类。

1995年，病重的吴德走到了人生的终点，临终之际他立下了遗嘱，要求后事一切从简，不举行任何形式的悼念活动。他的子女都从事着普通工作，他们没有下海经商，和老百姓一样过着自食其力的生活。