可后来宫中突然来了两位令人受到关注的女子，便是赵氏姐妹。自赵氏姐妹入宫以来皇帝也对其冷漠。赵氏姐妹的飞扬跋扈使得当时的原配许皇后非常的憎恨。实在是忍无可忍便想出了一条计策，在寝宫中设立神坦，表面上是说晨读礼拜之意可实际上是用来诅咒赵氏姐妹灾祸临门。可这种事情很快便被败落，赵氏姐妹故意在皇帝面前说这神坦是用来诅咒于她跟皇帝的，此时深陷赵氏姐妹的皇帝听了自然是大怒，一气之下废除了皇后。而最后只剩班婕妤这位情敌是影响赵氏姐妹的生活。
赵氏姐妹入宫后，飞扬跋扈，许皇后十分痛恨，无可奈何之余，想出一条下策，在孤灯寒食的寝宫中设置神坛，晨昏诵经礼拜，祈求皇帝多福多寿，也诅咒赵氏姐妹灾祸临门。事情败露以后，赵氏姐妹故意讲，许皇后不仅咒骂自己，也咒骂皇帝，汉成帝一怒之下，把许皇后废居昭台宫。
赵氏姐妹还想利用这一机会对她们的主要情敌班婕妤加以打击，糊涂的汉成帝色昏头脑，居然听信谗言。
然而班婕妤却从容不迫地对称：“妾闻死生有命，富贵在天，修正尚未得福，为邪欲以何望？若使鬼神有知，岂有听信谗思之理；倘若鬼神无知，则谗温又有何益？妾不但不敢为，也不屑为。”
意思是“我知道人的寿命长短是命中注定的，人的贫富也是上天注定的，非人力所能改变。修正尚且未能得福，为邪还有什么希望？若是鬼神有知，岂肯听信没信念的祈祷？万一神明无知，诅咒有何益处！我非但不敢做，并且不屑做！”
一名文才之女，她也有心她心里也深爱着汉成帝，可是她有着道德节操的娴熟之心，她经不起互相仇视，经不起被排挤和自己人嫉妒之心，她更加经不起的是她那份悲凉的感情。班婕妤自知，自己如秋后的团扇，再也得不到汉成帝的亲怜密爱了。不久，赵飞燕被册封为皇后，赵合德也成了昭仪，然而这一切在班婕妤看来，似乎都与她毫无关联了，心如止水，形同槁木的她，除了陪侍王太后烧香礼拜之外，长昼无俚，弄筝调笔之余，间以涂涂写写，以抒发心中的感慨，从而为文坛留下了许多诗篇。于是她为了避免今后的是是非非与其与她人争宠还不如急流勇退，保其自身安全而迁于王太后之地，加强王太后对于她的喜爱也应当能好好享受着她那诗意文才般的美好生活。
