在公元578年，周武帝病死，宣帝即位。楊堅的長女做了皇后，楊堅升任上柱國、大司馬，掌握了朝政大權。加上年少的皇帝也比較昏庸荒淫，在群臣中沒有威信，于是，楊堅便開始準備取而代之。

楊堅的行動多少讓小皇帝有所察覺，但沒有真憑實據，他也沒法處罰楊堅，何況他還是自己的岳父大人，更難下決心做事。楊堅為了避免皇帝的猜疑，就想到地方上去任職，也為將來有變時能利用實力爭奪皇位。于是，他便把這種愿望告訴了自己的朋友、內史上大夫鄭譯。

到了公元580年，機會來了，皇帝決定出兵南伐。鄭譯便向皇帝推薦了楊堅，皇帝對鄭譯原來就很信任，于是任命楊堅為揚州總管。但是，還沒等出征，周宣帝便一病不起。在鄭譯的參與和其他關西士族的支持下，楊堅他們做了一個假詔書，以宣帝遺詔的名義宣布：楊堅以外戚身份入宮輔助政，任宰相，總攬大權，進封為隋王，輔佐剛八歲的周靜帝宇文衍。

宣帝死后，楊堅等人并沒有立即公布消息，而是趁機用假詔書奪取了軍政大權，以及京城部隊的指揮權，等一切準備就緒后，這才發布了皇帝去世的消息，輔佐小皇帝即位。

楊堅做了輔政大臣后，首先建立了新的領導班子，吸收了一些有才干的人，穩定政局，并宣布革除宣帝時的酷厲苛刻之弊，深得人心。然后又向威脅他地位的宗室各王展開了攻勢。

剛去世的周宣帝的弟弟宇文贊在朝廷中和楊堅的地位不相上下，是楊堅秉政的一大障礙。楊堅便派人對他說，你不必再這樣勞累地參與政事。以后的皇帝位置肯定是你的，你只管回家等著就行了。宇文贊一來年輕，二來也沒什么謀略，就相信了。

沒了身邊的對手，楊堅又向其他的王下手了。已經成年而且在地方有些勢力的是五個王，如果他們聯合起兵，楊堅還很難對付。所以，在他們得知宣帝病逝的消息之前，楊堅便用假詔書將他們召回到長安，然后收繳了他們的兵權和印信。

五個王見自己無法與楊堅抗衡，便秘密聯系在外的另一個王起兵，但不久便被楊堅打敗。五王只好尋機下手。一次，他們設下鴻門宴，請楊堅去，幸虧隨從的人有所察覺，拉他借口跑出來。然后，楊堅便以謀反罪殺掉了主謀的兩個王，其他三個不久也被除掉。宗室勢力被消除后，楊堅的皇帝之路平坦了許多。

解除了中央的威脅后，地方勢力也開始反對他，河南、四川、湖北等地的將領紛紛起兵。經過打與拉兩手策略的較量，楊堅在半年后，終于平定了三地的軍事力量，徹底控制了北周的政權，做皇帝僅僅是一個形式的問題了。

到了公元581年的正月，楊堅走了一個前人使用過的體面形式——禪讓。他讓人替周靜帝寫好退位禪讓詔書，然后送到他的王府。楊堅假意推辭，最后才接受了大家的意思，穿上皇帝服裝，登上心儀已久的寶座。這時的楊堅剛四十歲。

因為楊堅是繼承的父親的爵位隨國公，后來又進封為隨王，因此把新王朝定名為“隨”，但又覺得這個字有個和“走”同義的偏旁，于是，把這個不太吉利的偏旁去掉，成了“隋”。

年號也按照慣例改了，定為“開皇”。但都城沒有變動，仍是長安。楊堅雖然改了隨字，但隋朝還是沒有逃脫短命的命運，僅僅三十年便滅了。說來也是巧合，當初楊堅奪取的是宇文氏的帝位，而他的兒子隋煬帝楊廣也是命喪宇文氏之手。