霍氏一家在朝中势力强大，因没有制衡而日益骄横奢侈，为富不仁。霍光之妻、霍太夫人霍显大兴府第，又违制建造和御用规格相同的人拉辇车，绘以精美的图画，车上的褥垫用锦绣制成，车身涂以黄金，车轮外裹上熟皮和绵絮，由侍女用五彩丝绸拉着霍显在府中游玩。另外，霍显还和管家冯子都淫乱。霍禹、霍山也扩建宅第，时常在平乐馆中骑马奔驰追逐。霍云几次在朝会之时以生病为借口不上朝，却带着许多随从私自出游，到黄山苑中行围打猎。霍显和她的几个女儿也随意出入上官太后居住的长信宫。
汉宣帝还在民间的时候就听说霍氏一家非常张扬跋扈。待到亲政以后，他命御史大夫魏相任给事中。霍显对霍禹、霍云、霍山等说：“你们不想办法继承大将军的事业，如今御史大夫当了给事中，一旦有人在他面前说你们的坏话，你们还能救自己吗！（女曹不务奉大将军余业，今大夫给事中，他人壹间女，能复自救邪！）”后来霍魏两家的奴仆因争夺道路引起冲突，霍家奴仆仗势闯入御史府，要踢魏家大门，御史为此向他们叩头道歉，霍家的奴仆这才离去。有人将此事告诉霍家，霍显等人这才开始为霍氏的未来而忧虑。
当魏相成为丞相后，多次在汉宣帝闲暇时受到召见，并向皇帝报告国事，平恩侯许广汉和侍中金安上也可以径自出入宫廷。当时，虽然霍山主管尚书事务，汉宣帝却下令允许官吏士民可越过尚书直接向皇帝呈递秘密奏章，群臣也可晋见皇帝。这些举措都让霍氏一家人极为恼恨。汉宣帝听说不少关于霍显毒死许皇后的传闻，于是他将霍光的女婿度辽将军、未央卫尉、平陵侯范明友调任光禄勋，将霍光的二女婿诸吏、中郎将、羽林监任胜调出京师，任安定太守。几个月之后，又将霍光的姐夫给事中、光禄大夫张塑调出京师，任蜀郡太守，将霍光的孙女婿之一、中郎将王汉调任武威太守。稍后，又将霍光的大女婿长乐卫尉邓广汉调任少府。八月戊戌（十四日），改由张安世为卫将军，未央、长乐两宫卫尉以及长安十二门的警卫部队和北军都归张安世统领。另外，宣帝任命霍禹为大司马，但却不让他戴照例应戴的大官帽，而只能戴小官帽，且不颁给印信、绶带，同时撤销他以前统领的屯戍部队和官属，只是让他的官衔和霍光一样为大司马。宣帝又将范明友的度辽将军印信和绶带收回，只让他担任光禄勋一职。霍光的另一个女婿赵平本为散骑、骑都尉、光禄大夫，统领屯戍部队，如今也将赵平的骑都尉印信和绶带收回。所有统领胡人和越人骑兵、羽林军以及未央、长乐两宫卫所属警卫部队的将领，都改由汉宣帝所亲信的许、史两家子弟担任。
霍显和霍禹、霍山、霍云眼看霍家的权势日益被削弱，多次聚在一起痛哭流涕，自怨自艾。霍山说：“如今丞相当权，受到天子的信任，将大将军在世时的法令全部更改，还专门宣扬大将军的过失。再者，那些儒生大都为贫贱出身，从偏远的地方来到京中，衣食无着，却爱说狂言，不避忌讳，大将军一向痛恨他们，但如今皇上却专爱和这些腐儒谈话。他们每人都上书奏事，纷纷指责咱们霍家。曾经有人上书说咱们兄弟骄横霸道，言词十分激烈，被我压下没有呈奏。后来上书者越来越狡猾，都改为秘密奏章，皇上总是让中书令取走，并不通过尚书，而且日益不信任我。又听说民间纷纷传言‘霍氏毒死许皇后’，难道有这回事吗？（今丞相用事，县官信之，尽变易大将军时法令，发扬大将军过失。又，诸儒生多窭人子，远客饥寒，喜妄说狂言，不避忌讳，大将军常雠之。今陛下好与诸儒生语，人人自书对事，多言我家者。尝有上书言我家昆弟骄恣，其言绝痛；山屏不奏。后上书者益黠，尽奏封事，辄使中书令出取之，不关尚书，益不信人。又闻民间欢言‘霍氏毒杀许皇后’，宁有是邪？）”霍显吓坏了，便将实情告诉霍禹、霍山、霍云。霍禹、霍山、霍云听后大惊失色，说道：“果真如此，为什么不早告诉我们！皇上将霍家女婿都贬斥放逐，就是为了这个缘故。这是大事，一旦事发，必遭严惩，怎么办？（如是，何不早告禹等！县官离散、斥逐诸婿，用是故也。此大事，诛罚不小，奈何？）”于是开始有造反的念头。
霍云的舅父李竟有一位要好的朋友叫张赦，他见到霍云一家人惊慌不安，便对李竟说：“如今是丞相魏相和平恩侯许广汉当权，可以让霍太夫人向上官太后进言，先将这两人杀死。然后废掉当今皇上，改立新君，这全在皇太后的决定。（今丞相与平恩侯用事，可令太夫人言太后，先诛此两人；移徙陛下，在太后耳。）”长安男子张章告发了张赦的阴谋。汉宣帝将此事交给廷尉和执金吾处理，朝廷迅速逮捕了张赦等人。后来，汉宣帝专门下诏命令不要扩大范围。霍山等人更加恐慌，他们一起商议道：“这是皇上尊重太后，所以不加深究，但从此已看出情况不妙，时间长了还会爆发。一旦爆发，就是灭门之祸，不如先下手为强。（此县官重太后，故不竟也。然恶端已见，久之犹发，发即族矣，不如先也。）”于是命霍家女儿各自回家告知自己的丈夫，说“大祸一来，咱们谁也跑不了！（安所相避！）”
正巧李竟因受指控结交诸侯王而被朝廷治罪，审问中供词涉及霍氏家族，汉宣帝因而下诏命令：“霍云、霍山不适合再在宫中供职，免职回家。（云、山不宜宿卫，免就第。）”山阳太守张敞向汉宣帝上了一道秘密奏章，奏章说：“我听说春秋时期公子季友有功于鲁国，赵衰有功于晋国，田完有功于齐国，他们都受到本国的酬劳，并延及子孙。但后来，田氏篡夺了齐国政权，赵氏瓜分了晋国，季氏则专权于鲁国。因此，孔子作《春秋》，追踪考察各国的兴衰存亡，严厉批判卿大夫世袭制度。当年，大将军霍光作出重大决策使宗庙平安、国家稳定，功劳也不算小。周公辅政才七年，就归政于周成王，而大将军掌握国家的命运长达二十年之久，却不思归政。在他执掌大权的鼎盛时期，威严震撼天地，势力侵凌日月。现在应由朝臣明确提出建议，说：‘陛下褒奖已故大将军，以报答他对国家的功德，所做的已经足够了。而近来辅政大臣专擅朝政，外戚势力过大，君臣之间没有明显的分别，因而请求解除霍氏三侯的官职，以侯爵身份回家；对卫将军张安世，也应赐给几案与手杖，让他退休回家，以列候的身分充当天子的老师，由陛下时常召见慰问。’陛下则公开下诏表示不从大臣所请。群臣再据理力争，然后陛下予以批准。这样一来，天下人肯定会认为陛下不忘旧勋的功德而群臣又知礼，霍氏一家也可以世世代代无忧无患。如今，朝中听不到直言，而使陛下不得不自己下诏，这不是好策略。现在霍氏两侯已被赶出宫廷，以我的心来揣度，大司马霍禹和他的亲戚僚属等必然会心怀畏惧。使天子的近臣恐慌自危，总不是万全的办法。我愿在朝中公开提出我的意见作为开端，只是身在遥远的山阳郡，无法实现，希望陛下仔细考虑。（臣闻公子季友有功于鲁，赵衰有功于晋，田完有功于齐，皆畴其庸，延及子孙。终后田氏篡齐，赵氏分晋，季氏颛鲁。故仲尼作《春秋》，迹盛衰，讥世卿最甚。乃者大将军决大计，安宗庙，定天下，功亦不细矣。夫周公七年耳，而大将军二十岁，海内之命断于掌握。方其隆盛时，感动天地，侵迫阴阳。朝臣宜有明言曰：‘陛下褒宠故大将军以报功德足矣。间者辅臣颛政，贵戚太盛，君臣之分不明，请罢霍氏三侯皆就第；及卫将军张安世，宜赐几杖归休，时存问召见，以列候为天子师。’明诏以恩不听，群臣以义固争而后许之，天下必以陛下为不忘功德而朝臣为知礼，霍氏世世无所患苦。今朝廷不闻直声，而令明诏自亲其文，非策之得者也。今两侯已出，人情不相远，以臣心度之，大司马及其枝属必有畏惧之心。夫近臣自危，非完计也。臣敞愿于广朝白发其端，直守远郡，其路无由。唯陛下省察！）”汉宣帝对张敞的建议甚为欣赏，然而却没有召他来京。
霍禹、霍山等家中多次出现妖怪之事，全家人都非常忧虑。霍山说：“丞相擅自减少宗庙祭祀用的羊羔、兔子和青蛙，可以以此为借口向他问罪。（丞相擅减宗庙羔、菟、蛙，可以此罪也！）”于是，他们密谋让上官太后设酒宴款待博平君王媪，召丞相魏相、平恩侯许广汉及其属下作陪，然后让范明友、邓广汉奉太后之命将他们诛杀，并乘机废掉汉宣帝，立霍禹为皇帝。阴谋尚未发动，汉宣帝任命霍云为玄菟太守，太中大夫任宣为代郡太守。就在此时，霍氏政变的阴谋被人发觉。秋七月，霍云、霍山、范明友自杀。霍显、霍禹、邓广汉等人被逮捕，霍禹被腰斩，霍显及霍氏兄弟姐妹全部被当众处死。和霍氏有牵连而被诛杀的有数十家之多。太仆杜延年因为是霍家旧友，也被罢免官职。八月己酉（初一），霍皇后被废，囚禁于昭台宫。乙丑（十七日），汉宣帝下诏，将告发霍氏政变密谋的男子张章、期门董忠、左曹杨恽、侍中金安上、史高封为列候。
汉宣帝刚即皇位前往汉高祖庙祭拜时，由大将军霍光同车陪乘。汉宣帝心中十分畏惧，有如芒刺在背，很不舒服。后改由车骑将军张安世同车陪乘，汉宣帝这才觉得轻松从容，十分亲近。等到霍光死后，其宗族最终遭到诛杀，所以民间传说，霍家的灾祸早在霍光陪同汉宣帝乘车时就已萌芽了。十二年后，霍皇后又被迁到云林馆囚居，自杀身亡。
班固对霍氏评论道：霍光受襁褓之托，任汉室之寄，匡国家，安社稷，拥昭，立宣，虽周公、阿衡何以加此！然光不学亡术，暗于大理；阴妻邪谋，立女为后，湛溺盈溢之欲，以增颠覆之祸，死财三年，宗族诛夷，哀哉！
司马光也说：霍光之辅汉室，可谓忠矣；然卒不能庇其宗，何也？夫威福者，人君之器也；人臣执之，久而不归，鲜不及矣。以孝昭之明，十四而知上官桀之诈，固可以亲政矣。况孝宣十九即位，聪明刚毅，知民疾苦，而光久专大柄，不知避去，多置私党，充塞朝廷，使人主蓄愤于上，吏民积怨于下，切齿侧目，待时而发，其得免于身幸矣，况子孙以骄侈趣之哉！虽然，向使孝宣专以禄秩赏赐富其子孙，使之食大县，奉朝请，亦足以报盛德矣；乃复任之以政，授之以兵，乃事丛衅积，更加裁夺，遂至怨惧以生邪谋，岂徒霍氏之自祸哉？亦孝宣酝酿以成之也。昔斗椒作乱于楚，庄王灭其族而赦箴尹克黄，以为子文无后，何以劝善。夫以显、禹、云、山之罪，虽应夷灭，而光之忠勋不可不祀；遂使家无噍类，孝宣亦少恩哉！
联系客服
