霍光作为霍去病的弟弟，霍成君的父亲，在当时绝对称得上是权倾朝野。汉宣帝在他死后迅速铲除了霍光势力，这绝对不是在他死后短短几年就可以完成的，早在汉宣帝继位后，就开始为此做了很长一段时间的准备。
作为一个被扶持上位的皇帝，他深知自己的皇位并不牢靠。
于是上位后他首先确定了自己皇位的合法性，之后开始处处搜集过光家族作恶的证据，最后耐心等待霍光去世。
（1）稳定霍光势力：
作为汉朝的开国大臣，霍光连任三辅，汉武帝对其十分信任。之后的汉昭帝也是如此，汉武帝在去世前为了避免出现外戚专权的现象将汉昭帝的母亲缢死，之后，将年仅8岁的汉昭帝托付给霍光。
可是汉昭帝刚刚21岁时却突然暴毙，当时朝廷中很多大臣都怀疑，汉昭帝被霍光害死了，他们认为，此时的汉昭帝已经到了“弱冠”的年纪，可以亲自处理政事，不必再依靠霍光了。
因此霍光为了把握住手中大权才出此计策，事实究竟如何我们不得而知，但是从他辅佐当时年龄相对尚小的昌邑王登上皇位，我们可以看出他应该是怀有私心的。
昌邑王刘贺这个人，不懂理法，肆意妄为，残暴之至，这样的人暂且不说天下是否臣服，对于霍光来说最难搞的是，他怎样才能安心被控制？
于是霍光上奏当时年仅15岁的上官太后，废了昌邑王。改立汉武帝的曾孙刘病已为新君，刘病已在家臣抚养下长大，性格难免内敛许多。同时从小生长在民间的他深知百姓疾苦，仰慕法家思想。像他这种人，内心自然也是不甘心被人控制的。
在汉宣帝刚刚继位后与霍光之间处于一种长期的猜忌之中。霍光曾不止一次提出，告老还乡，这其实是一种政治手段，用来测试汉宣帝对自己的态度，但汉宣帝现在刚刚登上王位，权力还不够稳固，需要霍光来替他压制朝内的大臣，于是他执意不准霍光还政。甚至还要求满朝文武有事禀告时，先告诉霍光。过了很长一段时间，霍光终于渐渐放松了自己的态度。
霍光让出了军中大权，但他依然没有失去警惕，他把自己的侄子孙子外孙女婿等都插入军中陆续执掌大权，可汉宣帝此时，只能够一味退让。
（2）尊崇汉武帝：
除了稳定霍光方面之外，对于民间舆论，他也是极其重视的。
虽然他是汉武帝的曾孙，但它却是刘据的子嗣，刘据曾因造反，被汉武帝杀死了，从这方面来说，
汉宣帝算是叛贼的后代，所以为了确定自己身份的正统性，他开始为汉武帝上庙乐，歌颂汉武帝的功绩和历史地位，这个做法得到了朝中很多大臣的支持。
（1）赋予宗氏贵族势力：
汉宣帝深知自己继位缺乏合理性，他是以汉昭帝继承人的身份得以继位的，但汉宣帝乃是汉昭帝的侄孙，这不符合“兄终弟继，父死子继，无以孙祭祖者”的传统理法关系，并且汉宣帝当时没有贵族身份，只是一个普通的庶民，因此他必须要得到当时皇室的认可。
本始元年，汉宣帝下令封燕剌王的太子刘建为广阳王，之后又封广陵王刘胥的儿子，分别为平曲候，南利候，高密王。其他宗氏也得到了很多分封，地节元年6月，汉宣帝又下诏声称要效仿尧，团结宗族善待宗势。那些获罪的宗氏成员，也被恢复了宗室属籍。
（2）分化霍光集团内部势力：
当时的朝政大局可谓是被霍光家族统揽，为了瓦解这一局面，汉宣帝继位之后就开始拉拢霍光的副手张安世。
张安氏的兄长张贺曾经抚养过汉宣帝，汉宣帝在登上王位之后，感念他兄长的恩德，不断向张家施恩。由于张贺没有子嗣，于是这些赏赐都落在了张安世和他三个儿子身上。自此张安世和汉宣帝之间形成了亲密的关系。
（3） 发展外戚势力：
对于刚刚进入朝廷的汉宣帝来说，为了避免霍光势力的威胁，他必须培植出忠于自己的政治力量来保证朝政平稳。古人十分看待婚姻宗族制度，所以对当时的韩宣帝来说提拔自己的外戚无疑是最便捷的方式。
汉宣帝在登上皇位之后，就面临着选皇后的问题，当时霍光有意让汉宣帝立自己的小女儿霍成君为皇后，但是汉宣帝此时已经在民间已经有一妻子许平君。
在这种选择下，他如果选择与霍光结亲，虽然朝政地位会得到巩固，但是后宫必然会受到霍光家族的控制，他就会和汉昭帝一样任由霍光的摆布。
但是如果选择许平君，局面就大大不一样了，按照惯例，许平军的父亲，许光汉将被封侯，那么许氏家族就成为了当时的朝廷新贵，也是汉宣帝的得力助手，所以在这种状况下，汉宣帝比较倾向于立许平君为皇后。
但他又无法直接在朝堂之上表明自己的心意，因为这无疑于公然和霍光作对，对于当时孤立无援的汉宣帝来说，这绝对不是一个好的选择。
于是他在朝堂之上，故意声称自己有一把旧剑，落在了民间。朝堂之内的大臣一听，皇上对一把“旧剑”都挂念如此，更何况是结法妻子呢，于是都纷纷上书请他立结发妻子为皇后。这体现了汉宣帝不忘故旧之清，霍光对此没有办法直接拒绝。
朝中大臣之所以敢这样做，也是考虑过利弊的，当时的霍光已经年迈，而新皇帝看起来又，颇有政治才能，出于为自己的前途考虑，大家纷纷站在了皇帝这一边。
除了他妻子这一脉以外，他下令群臣，平反“巫蛊之祸”，为其父，祖父定下谥号，修建了陵园。自此他祖父和父亲都恢复了声誉，不再是罪臣，于是他将祖母史家，母亲王家，都被安排在朝廷要职之中。
在皇宫中他任用宦官，并且还将民间结识的一些朋友引入到政坛中，通过这些方式，他手中的权力得到了充分扩大。
霍光的儿子霍禹在霍光死后虽然执掌大权，可他的政治能力相比于他的父亲来说，差之千里，于是汉宣帝在霍光死后，迫不及待地，将张世安封为大司马，车骑将军领尚书事。
从此张家成为了可以与霍氏家族分庭抗礼的大势力。接着，汉宣帝又将魏相升为丞相，丙吉升为御史大夫，霍氏的行政大权就这样一点点被汉宣帝夺走。在军事方面，汉宣帝又一点点撤走了，霍光安插在军队中的势力，霍光家族自此江河日下。
可他们依然贼心不死，许皇后死后，霍家女儿霍成君被立为新皇后，此时霍家又让霍皇后去毒杀非她所生的太子。
不过此时汉宣帝早有准备，无论是食物还是用具，全部都让人先验毒。霍皇后无法得手，气急败坏，汉宣帝趁机发现了，霍家毒杀许皇后和想毒死太子的阴谋。
出于汉宣帝的受益朝堂中无数大臣弹劾霍家氏族。不久霍氏家族策划谋反，汉宣帝早已等待已久，一举歼灭了霍氏家族。
汉宣帝之所以能够清算霍光势力，在于他继位后与霍光之间的和睦相处。这种和睦让霍光放松了警惕，但其实汉宣帝早已开始扩张权利，并且对霍氏家族加以防范，使霍氏家族在心存疑虑时，又找不到证据。最终汉宣帝抢先一步，找到了霍氏家族谋害皇室的证据，一击即中。