衛青，字仲卿，河東平陽(今山西省臨汾市西南)人。他的母親在平陽公主家做女仆，因丈夫姓衛，她就被稱為衛媼。平陽公主原號陽信長公主，是漢武帝的姐姐，因嫁與平陽侯曹壽(漢初名臣曹參之曾孫)為妻，所以也稱平陽公主。

衛媼生有一男三女，即兒子長君，長女君孺、次女少兒、三女子夫。丈夫死后，她仍在平陽侯家中幫傭，與同在平陽侯家中做事的縣吏鄭季私通，生了衛青。衛青在母親的關懷下渡過了童年。后來，他的母親感覺供養他非常艱苦，就把他送到了親生父親鄭季的家里。但鄭季的夫人根本看不起衛青這個私生子，讓他到山上放羊，鄭家的幾個兒子也不把衛青看成手足兄弟，隨意苛責。衛青長大后，不愿再受鄭家的奴役，便回到母親身邊。平陽公主看到衛青已長成了一個相貌堂堂的彪形大漢，非常喜歡，就讓他做了自己的騎奴。每當公主出行，衛青即騎馬相隨。雖然沒有一官半職，但與在鄭家時的情景相比已是天壤之別。衛青聰明好學，漸漸學到了一些文化知識，懂得了一些上層階級禮節。他怨恨鄭家對他沒有一點親情，決定冒姓為衛，完全與鄭家斷絕關系。

公元前139年春，衛青的姐姐衛子夫被漢武帝選入宮中，衛青也被召到建章宮當差。這是衛青命運的一大轉折點。衛子夫入宮不久，就有了身孕，引起了陳皇后的嫉妒。陳皇后就是漢武帝姑姑的女兒，當年曾讓他許下“金屋藏嬌”誓言的陳阿嬌，與漢武帝成親后，被立為皇后，但一直未能給漢武帝生一個兒子。她擔心衛子夫一旦生下的是個男孩，那就會被立為太子，而衛子夫也就會因為兒子的關系，青云直上，成為皇后。這對她的地位無異是一個很大的威脅。但是，眼下衛子夫正得漢武帝的寵幸，陳皇后對她不敢加害，就找母親大長公主訴屈。大長公主是漢武帝的姑姑，為了給女兒出氣，嫁禍于衛青。她找了一個借口，把衛青抓了起來，并準備處死。衛青當騎奴時結識的好友公孫敖聽到了消息，馬上召集了幾名壯士，趕往搶救，把衛青從死亡的邊緣奪了回來。另一方面，公孫敖還派人給漢武帝送信。漢武帝得知后，大為憤怒，索性召見衛青，任命他為建章宮監、侍中。不久，漢武帝封衛子夫為夫人，提升衛青為太中大夫。可以說，衛青是沾了他姐姐的大光的。

公元前129年，匈奴又一次興兵南下，前鋒直指上谷(今河北省懷來縣)。漢武帝果斷地任命衛青為車騎將軍，迎擊匈奴。從此，衛青開始了他的戎馬生涯。衛氏一門顯赫后，京城中有歌謠說：生男無喜，生女無怨，獨不見衛子夫霸天下。意思是說衛氏一門的顯貴全靠了衛皇后。其實不然，在兩漢時期，左右朝政的外戚大多是靠裙帶關系竅居高位的，而衛青、霍去病卻是出生入死，浴血奮戰，為國家做出了重大貢獻。正因為如此，即使后來衛皇后失寵，二人在朝廷的地位也絲毫未受影響。

家奴出身的衛青如今變成了貴極人臣的大將軍，朝中官員無不巴結奉承。這時，平陽公主寡居在家，要在列候中選擇丈夫，許多人都說大將軍衛青合適，平陽公主笑著說：他是我從前的下人，過去是我的隨從，怎么能做我的丈夫呢？左右說：大將軍已今非昔比了，他現在是大將軍，姐姐是皇后，三個兒子也都封了候，富貴震天下，哪還有比他更配得上您的呢。漢武帝知道后，失笑道：當初我娶了他的姐姐，現在他又娶我的姐姐，這倒是很有意思。于是當即允婚。時遷事移，當年的仆人就這樣做了主人的丈夫。這樣一來，衛青與漢武帝親上加親，更受寵信。但衛青為人謙讓仁和，敬重賢才，從不以勢壓人。

后來，漢武帝對霍去病恩寵日盛，霍去病的聲望超過了他的舅舅衛青，過去奔走于大將軍門下的許多故舊，都轉到了霍去病門下。衛青門前頓顯冷落，可他不以為然，認為這也是人之常情，心甘情愿地過著恬淡平靜的生活。公元前106年，大司馬大將軍衛青去世，漢武帝命人在自已的茂陵東邊特地為衛青修建了一座象廬山(匈奴境內的一座山)的墳墓，以象征衛青一生的赫赫戰功。