劉徹很著急，不知道之後怎麼壓制住衛青的勢力。他寧願許多軍事行動起用別人，也不願起用衛青重掌軍權。衛青很聰明，乾脆請病假，之後不怎麼上朝了，進一步地韜光養晦。劉徹不怎麼放心，在第二年（元鼎元年，公元前116年），以衛青的兒子宜春侯衛伉犯法為名，削去衛伉的爵位。幾年後，衛青的另兩個兒子陰安侯衛不疑、發乾侯衛登因為獻給朝廷的助祭金的份量不足或成色不夠，被漢武帝削去爵位。至此，衛家「一門五侯」事實上只剩下衛青孤零零的一個長平侯了。衛青的「病情」隨之越來越重，不怎麼過問家門之外的事情。
元封五年（前106），一代名將衛青去世。漢武帝也為衛青舉辦了風光隆重的葬禮，命人在茂陵東邊為衛青修建了一座像廬山（匈奴境內的一座山）的墳墓，給予和霍去病同樣的待遇。
衛青死後，長子衛伉繼承了長平侯的爵位，但衛家的權勢已不能與十多年前相提並論了。但衛家依然是西漢王朝權勢最旺的大家族。因為這個家族崛起的另一大支柱：皇后衛子夫和太子劉據的地位巋然不動。衛家在後宮的地位也是衛家的地位。更值得一提的是，衛青的姐夫公孫賀出任了丞相。這就給衛家的權勢增添了不少的光芒。
劉據是衛青的外甥。衛青、霍去病死後，劉據就是衛家最重要的權勢人物了，更是衛家的大希望。只要劉據登基，衛家的權勢起碼能繼續幾十年。漢武帝劉徹二十九歲的時候好不容易才有了第一個皇子，也就是劉據。他格外珍惜劉據，努力將劉據培養成合格的接班人。劉據沒有辜負父親的期望，學習認真，能力出眾，表現出了接班人的品質。
劉據一天天長大，情況卻發生了變化。劉據的政治行情「看漲」就意味著衛家的政治行情「看漲」。劉徹終生致力於鞏固皇權，對於外戚家族與太子的緊密聯繫打心底裡沒有好感。所以，他對於是否要傳位給劉據，心中有了一絲陰影。
有人說，兒子總比外甥要親。劉據會向著劉家，不會向著衛家的。漢武帝劉徹也這麼想，可他漸漸地發現劉據這個兒子並不怎麼向著自己，反而是在許多問題上和自己唱反調。這讓做父親的很惱火。劉徹獨尊儒術，他給兒子找的老師都是儒生，教的也是儒家思想，結果認真學習的劉據精通儒家知識，性格仁恕溫謹。而劉徹只是表面推崇儒學，內心是將儒家作為統治工具。劉徹真正崇尚的是絕對的權威和強權，儒學有用的時候拿來裝點門面，沒有用的時候毅然棄之不用。小劉據沒能真正體會老父親的苦心，嚴格按照儒家理論辦事，父子倆在政治理念上產生了不可調和的矛盾。漢武帝連年用兵、對外征戰，運用強權削藩罷侯，徵收繁重的賦稅。劉據在這些問題上都不贊同父皇的做法。漢武帝慢慢老了，覺得兒子不像自己，更擔心兒子沒有駕馭天下的能力。
皇后衛子夫看著兒子和丈夫之間的隔閡，心裡著急。衛子夫能夠做三十八年皇后，除了和衛青一樣謹小慎微、恭謹謙和外，還在於她遇事有主見，能夠向別人施加影響來實現自己的目的。比如，衛子夫知道衛青的幾個兒子不成才，怕他們風頭太盛出問題，多次請求丈夫劉徹不要封賞衛青的兒子，以退為進，實際上是保護自己的侄子。現在，衛子夫看到兒子老違背丈夫的意思，就經常勸誡兒子：「作為太子，你要經常揣摩父皇的心思，理解父皇的意圖，按照父皇的要求去做，不能擅自做主，做一些與父皇的想法不一致的事，比如平反冤獄。這本是你父皇製造的冤獄，你卻給予平反，不是否定你的父皇嘛！」可惜，劉據沉溺於儒家說教太深，對母親的忠告聽不進去。
劉徹對劉據基本上是滿意的，但是對劉據在很多問題上頂撞自己深感不快。他曾經語重心長地對劉據說：「我做的很多事情，你都不贊同。但我這樣做是為了你將來能夠安享太平！」可惜劉據「身陷」儒學說教，中毒太深，依然在若干問題上與父皇唱對頭戲。
衛青死後，劉據失去了重要的外朝屏障。劉徹對劉據很無奈，但根本沒有想到過撤換太子的問題。然而，劉徹和劉據這對父子之間最後還是爆發了兵戎相見的血腥政變，血染長安城，史稱「巫蠱之禍」。
所謂巫蠱，就是利用扎木偶、下咒語等迷信手段，陷害他人。漢朝法律嚴厲禁止巫蠱，劉徹本人對巫蠱深惡痛絕。父親劉徹進入晚年後，身體越來越不好，更加對巫蠱敏感。他住在長安的時間越來越少，長年累月逗留在離宮甘泉宮中。父子見面的時間越來越少了，本來心理就有小疙瘩，現在因為疏遠惡化成了心理隔閡。
劉據得罪的那些貪官酷吏、權謀小人在劉徹面前搬弄是非，離間父子關係。酷吏江充，出身卑微，依靠不斷地檢舉他人、刑訊逼供一步一步爬上來。太子劉據很討厭他。江充怕太子繼位後懲辦自己，就勾結太監蘇文等人要扳倒劉據。衛家的女婿、丞相公孫賀不巧因為巫蠱被牽連下獄。江充等人就使勁把「巫蠱」的髒水往衛家和太子身上潑。
父子隔閡、交流不暢、對權臣家族的猜忌，現在加上「巫蠱」嫌疑，漢武帝劉徹隨即授權江充清查太子與「巫蠱」的關係。於是，事情惡化為劉徹、劉據父子倆指揮各自的軍隊在長安城裡混戰了幾天幾夜，只殺得是鮮血淹沒了街道，都匯聚成了赤紅的河流。
混戰的結果是，劉據一幫人寡不敵眾，遭到了血腥鎮壓。劉據懸樑自盡。他的四個子女同時遇害。政變平息後，震怒的劉徹派人收繳皇后的璽綬，要廢掉衛子夫。衛子夫在宮中自殺。太監找了口薄棺材，將衛子夫草草埋葬在長安城南的桐柏。漢書說至此「衛氏悉滅」。
衛家是漢武帝時期的一個傳奇。衛子夫從歌女到皇后、衛青從騎奴到大將軍，家族相關人等在朝野盤根錯節，締造了一個神話。儘管權勢熏天，這個家族安分守己，並沒有什麼「負面新聞」。衛家的主要人物還對西漢王朝做出了突出貢獻。可他們遇到了一個強權君主，一個晚年多疑的劉徹，頃刻之間就被連根拔起，滿門抄斬，令人惋惜感慨。
政治崇尚叢林法則，兩強相遇必有一傷。強盛的權力家族和強權的專制君主，在同一個時間內只能存在一個，不可能和睦相處、分享權力。這就是衛青家族不能在漢武帝時代永保富貴的大道理。