一九三五年，一位娼妇在37岁高龄的张伯驹面前跪了下来

说：「我是纯洁的，请您把我带走！」张伯驹也是这么打算的，拿出一叠钞票，老鸨一看，就是一脸的不屑：“你要带走她，做梦！后来张伯驹知道是臧卓给银子。

这位名叫“潘妃”的娼妇，本是潘素。她出身于一个官员家庭，祖上是潘世恩，是一位大臣。但是，她的爸爸却是个败家子，家里的日子一天比一天不好过。
潘素的妈妈是个千金小姐，她发现自己无法控制自己的老公，所以一门心思扑在了自己的女儿身上。潘素从小在她的教导下学习琴、棋、画，不但能弹奏出一曲好的琵琶，而且对绘画也有很大的爱好。
潘素13岁时，母亲病逝，她的爸爸为她找了一个后妈，潘素的悲惨生活由此而来。15岁的时候，她被后妈出卖到“天香阁”赚钱，但她的爸爸却没有阻止。
潘素再怎么难过，也不得不在天香楼里拼命地过日子，她擅长弹琴，再加上她是前代丞相的后代，凭借自己的才华，潘素很快就成为了“潘妃”，闻名上海。
很多富商、世家子弟，为了能见到他，不惜花大价钱。尤其是本地的一位官员，名叫臧卓，为了表示自己的诚意，他甚至还主动向潘素求婚。
潘素说她不想那么早结婚，臧卓却肯等她。
一天，张伯驹去上海查帐，听到“潘妃”的故事，便随友人来到“天香阁”。
张伯驹弹完这一首歌，见了潘素，不禁动容，提起毛笔道：“潘步手间轻盈，十步香尘生丝袜；“琴中有琴，胡语在琴中。”
张伯驹是河南总督张镇芳的儿子，也是袁世凯的外甥，十五岁时，他的父亲就把“家业”交给他，并把他送到一家银行上班。
但张伯驹不嗜烟不贪，不贪名，只喜诗词歌赋，尤其是古玩。妈妈为他担心：「我不愿干任何事情，也不愿作任何官职，只会用金钱来购买画作。」
受此嗜好，张伯驹不仅能作诗词，英文也能说的流利，颇有一种谦谦君子的风范，而他在天香阁所作的诗词，三言两语就把潘素给刻画了出来，也让潘素对他产生了好感。
经过两人的进一步接触，张伯驹才知道，潘素不仅会琴，而且爱好绘画，而且极擅绘画。想起潘素的过往，他心中忍不住有些同情潘素。
那天，潘素听说张伯驹要离上海了，一想起从此与他分离的日子，她心中充满了悲伤。接着，她壮起胆子，下跪恳请张伯驹把她带走。
张伯驹也是这么想的，可是刚掏出赎金，那老妇人就嗤的一声，说：“你别想把她带走！”
臧卓虽然没有提出强迫潘素成亲的请求，却还是花钱请了老鸨，因为多情公子的势力，老鸨无论如何也不会放过潘素。
臧卓得知潘素与张伯驹相识，一怒之下竟把潘素给囚禁了。张伯驹托友人之托，贿赂臧卓的警卫，与潘素一同逃至北京。
张伯驹与潘素交往之后，便为她筹了一笔经费，为她的画艺提供了帮助。两人志趣相投，感情极深。张伯驹把家里的一房二房都退了，就是想和潘素长久相厮守。
一九四○年，潘素在画坛上已颇有成就，成为著名的画师。
她对张伯驹的感情很深，一辈子都很尊敬他。抗日战争期间，为了避免日本人得到张伯驹的遗物，他曾花费重金购买了许多书籍和书籍，潘素对此一直给予大力的帮助。
有一次张伯驹被绑架，绑架者要张家人给他三百万来赎张伯驹。这时，张家由于张伯驹的不断购买，再也没有足够的银子，朋友们劝说潘素把《平复帖》的古董卖掉。
“他不会答应。”潘素冷冷地道。
事后，他们派人到监狱中审问，张伯驹斩钉截铁地说：“我是死了也就是了，可是家中的《平复帖》却是万万不可碰的。”
“现在救人要紧，不如把《平复帖》给你！”潘素建议道。
谁知，潘素却固执的说：“我不会让他求饶的。”后来潘素变卖了几座房子，好不容易筹到了一笔银子，经过大家的调解，张伯驹总算是保住了一条小命。
张伯驹得悉潘素已遵从他的劝告，不再出售《平复帖》，感动地说道：「她最了解我了！」
张伯驹夫妇于1956年将22幅精美的书法作品捐献给故宫，但都被故宫颁发的20万元的奖金给拒不接受。他们只想把它们保护起来。
张伯驹于一九八二年逝世。十年之后，潘素因思念先夫而离开。
张伯驹是潘素的功臣，潘素又是张伯驹的清白。