漢武帝雄才蓋世，但他也始終沒有解決接班人的問題。先是立嫡長子劉據為太子，之后他寵幸李夫人，于是想立李夫人的兒子劉賻為太子。可是還沒來得及立劉賻為太子，李家就獲罪被族誅，劉賻自然也就被邊緣化了，于是被封為昌邑王。之后，又發生了巫蠱案，太子劉據被迫造反，失敗之后自殺。到漢武帝去世時，只有鉤弋夫人的兒子弗陵，為了防止漢高祖去世后呂后專權的情況再次出現，漢武帝將鉤弋夫人賜死，并托孤給霍光、上官桀等人。

漢武帝在位時，雄才大略，權力都集中在他一個人身上。集權的好處當然是很明顯的，因為權力集中，所以只要掌權的人英明神武，就很容易辦成一些大事。可是，集權的弊端在于，因為權力過分集中，所以一旦掌握權力的人突然去世，這個權力中心不存在了，就會引起一些混亂。漢武帝去世前，托孤的時候，為了防止權力過分集中在大臣手中，架空自己年輕的兒子，所以并沒有將權力都托付給霍光，而是還有上官桀、桑弘羊、金日磾三個人，以相互牽制。可是，漢武帝去世后，霍光很快就以上官桀圖謀“殺霍光、廢昭帝、立燕王旦”為名，殺掉了上官桀，桑弘羊和金日磾隨后也先后被霍光消滅。這樣，權力還是集中到了霍光手中。

霍光將權力集中在自己手中后，在昭帝時期，總體而言還是不錯的，這當然得益于昭帝早逝，壓根沒有來得及與霍光發生權力沖突。昭帝年僅二十一歲就突然駕崩，霍光多少也有些嫌疑。畢竟，上官桀就曾串通燕王旦，想廢昭帝另立燕王旦為帝。從史書記載上看，昭帝雖然不如漢武帝那般英明神武，但至少有中人之資，一旦年齡大了，霍光還要繼續名正言順的掌握核心權力，就沒有那么順理成章了。

站在霍光的角度看，要保證他始終能夠掌握最高權力，無非是兩個辦法，一個是少年皇帝，不懂政事，另一個辦法就是皇帝懦弱無能。史書的記載顯示，霍光在政治斗爭中獲勝后，權傾朝野，一人之下萬人之上，漢昭帝就感到“芒刺在背”，很不舒服。也就是說，漢昭帝已經意識到，霍光會威脅到他的權力乃至人身安全。而且，這樣的感受能在史書上流傳下來，就說明漢昭帝的這種感覺曾對身邊人表露過，那么他當然會尋找機會奪回原本屬于自己的權力。所以，如果有可能，換一個年齡更小的皇帝，以便于自己繼續掌握最高權力，就是霍光的理性選擇。

因此，在漢昭帝不明不白的突然駕崩后，大臣討論立誰為帝時，廣陵王胥首先被排除了，理由是他從來沒有進入過皇位繼承人范圍，漢武帝在巫蠱案之后，本來就可以立廣陵王胥，卻沒有選擇他，而是選擇了年幼的漢昭帝。

這個理由其實壓根就不能成立。漢高祖劉邦駕崩后，呂后專制，周勃等人除掉呂氏家族后，就選擇了立代王為帝，而代王的母親薄姬很早就已失寵，隨代王到了封地生活，劉邦也從未考慮過讓代王繼承皇位。但周勃等人仍然選擇了立代王為帝。當然，周勃等人立代王為帝的理由或許是，高祖諸子中當時代王年長而且名聲不錯，但更重要的顯然是，正因為劉邦從未考慮過讓代王繼位，薄姬又是小門小戶，所以代王在朝廷里沒有什么勢力，立他為帝，周勃等人可以繼續把持朝政。而霍光拒絕讓廣陵王胥繼位，一個最主要的原因顯然是，他年齡大，心智已經成熟，一旦登上帝位，那么就很容易與霍光發生沖突，危及霍光的地位。

所以，霍光最后選擇了昌邑王賻的兒子，也就是繼任的昌邑王劉賀。他的理由是，劉賀從輩分上說，是昭帝的下一輩，比較順理成章。但更重要的理由也許是，在當時，昌邑王賀胡作非為的表現已經人盡皆知，這種政治上近乎白癡的作風讓霍光比較放心，讓他繼承皇位，不會危及霍光繼續把持最高權力。想想看，作為一個要進京繼承皇位的人，還能在半路上強搶民女，還不知道收斂一點，政治上怎么會有很多想法呢？但霍光沒想到的是，昌邑王賀雖然在封地胡作非為，看不出一點政治能力，但繼承皇位后，卻很快就想著采取措施，讓自己的親信掌握核心部門。這時候，對霍光而言，就很難辦了。要么急流勇退，歸政給皇帝，要么奮起反擊，廢掉這個在朝廷尚未站穩腳跟的皇帝，另選一個沒有根基的皇室后裔來繼承帝位。霍光的選擇是后者，果斷反擊。所以，在這種情況下，劉賀本人到底如何并不重要，重要的是政治斗爭需要他成為什么樣的人，他就可以在權臣掌握之下的輿論中被塑造成為什么樣的人。霍光迅速采取措施，讓大臣向年輕的皇太后也就是他的外孫女上奏折彈劾劉賀，進而以皇太后的名義廢黜了劉賀，另選了太子據的孫子劉詢為帝。

巫蠱案之后，太子據與兒子劉進一同遇難，劉進的兒子劉詢流落民間，在祖母史家長大，到后來武帝才下詔將劉詢帶進宮，在宮中撫養。不過，也許是在民間的生活經驗讓少年劉詢覺得有趣，所以他仍然經常私自出宮在京郊游玩。很顯然，與廣陵王胥一樣，劉詢作為罪人劉據的孫子，漢武帝并沒有將他列入皇位繼承人的考察范圍，他也沒有什么有權勢的親戚，在朝廷更談不上有什么鐵桿支持者。甚至，昌邑王賀繼位后，想在朝廷里安插自己的親信，還有親信可用，劉詢連這樣的親信都沒有幾個。這當然更便于霍光控制。因此，霍光大概認為，劉詢是一個比昌邑王賀更容易控制的皇位繼承人。

智者千慮必有一失。霍光考慮到了幾乎所有問題，唯獨沒有考慮到，出身民間的劉詢雖然在朝廷沒有什么支持者，也沒有什么勢力，但他最大的優勢是年輕，而霍光卻已經垂垂老矣。所以，在霍光的健康狀況尚好的時候，宣帝始終很節制，沒有與霍光發生正面沖突，讓霍光始終把持最高權力，直至病終。唯一的一次是，霍光希望立自己的女兒霍成君為皇后，而宣帝卻堅持立自己出身小吏之家的妻子許平君為皇后。這次霍光讓步，但不久后，霍光的妻子就指使御醫下毒害死了許皇后。這時，宣帝面對的情況就很明確了，名義上，皇后主管后宮全部事務，霍家既然能毒死皇后，當然也完全有可能下毒害死皇帝。所以，宣帝只能選擇退讓，立霍成君為皇后。但我們可以想像，宣帝當時的心情，雖然無力反抗，但對霍光的仇恨肯定是刻骨銘心的。

宣帝繼位五年后，霍光病逝。次年，宣帝就廢掉了霍光女兒的皇后之位，隨后開始著手清洗霍氏家族，幾乎噍類無遺。而且，在漢宣帝執政期間，西漢進入了漢武帝去世之后最強盛的時期，不僅整飭吏治，懲治貪腐，而且對外反擊并最終降服匈奴，成為西漢歷史上功業僅次于漢武帝的一代雄主。