可能還有人對衛家不滿，認為衛青只是運氣比較好，英勇善戰而已。誰處在衛青的角色，上有皇帝姐夫的信任，內有漢朝積累了五十多年的物資儲備，都能建立一番功業。這樣的觀點把衛青這個人物看得太簡單了。衛青絕對不是一個只知軍事、不懂權謀的人。
在霍去病嶄露頭角的那次征戰中，右將軍蘇建和前將軍趙信的主力部隊被匈奴大軍打得死傷慘重。趙信本來就是匈奴的降將，戰敗後投降了匈奴；蘇建殺出重圍，隻身一人逃回來向衛青請罪。面對慘敗，有人要求追究蘇建的責任，認為他「棄軍而逃」；有人建議將蘇建斬首示眾，嚴肅軍紀；也有人認為蘇建盡力後才戰敗的，不應斬首。如果把蘇建殺了，不就是逼著戰敗的將領有家不敢回，反過去投降匈奴嗎？大家爭來爭去，需要衛青拍板定奪。衛青有權力處斬部將，但他沒有殺蘇建。殺蘇建的壞處很明白，會寒一部分將士的心，而且容易給人專橫的感覺，得罪一批人。但是蘇建的確對戰敗負有責任，於是衛青把蘇建用囚車送回長安，交由劉徹處理。結果，劉徹非常滿意衛青有權不專權的舉動，同時赦免了蘇建的死罪，讓蘇家用錢給蘇建贖罪。蘇建被貶為平民百姓，但對衛青感激不盡。
衛青對蘇建的處置，表現出了成熟政治家的風範。衛青發達了，一直保持著謙虛穩重、行事謹慎的作風。當漢武帝要分封他那三個年幼的兒子為侯時，衛青堅決推辭：「我的功勞是全體將士拚死奮戰的結果。我的兒子年紀尚幼，毫無功勞，陛下卻要分割土地封他們為侯，我們父子怎麼敢接受封賞。還是請陛下分賞眾位將士，激勵大家更好地殺敵吧！」漢武帝知道了，封賞了衛青部將公孫敖、公孫賀等人，犒賞將士，同時堅持封其子衛伉等三人為侯爵。結果，大家皆大歡喜。
由此可見，衛青能夠在短短幾年中威震四海，位極人臣，是有道理的。
有一天，衛青的好朋友甯乘來訪，提醒衛青說：「大將軍之所以食邑萬戶，三個兒子都封侯，主要還是靠皇后的功勞。」接著，甯乘慢慢說來：「任何事情都物極必反。沒有一個家族能夠永遠保持富貴，就好像月亮不會永遠圓滿，海水不會永遠停留在浪尖一樣，衛家遲早也會走向衰落。」
衛青在權力巔峰，保持了清醒的頭腦。他隱約感覺到，自家人名揚四海，部將親屬遍佈朝野，如此輝煌之下總有哪裡不太對勁。現在，甯乘給他點破了：「要防止皇上猜忌啊！」衛青恍然大悟，忙討教如何應對。
甯乘說：「現在內宮之中，王夫人是皇上的新寵。但是王夫人出身卑微，她的家人依然生活在貧苦之中，希望大將軍能夠向王家贈送重金，聯絡感情。」衛青依計而行。
原來，隨著歲月的推移，衛子夫無奈美貌不再。越來越多的美女進入了劉徹的床榻。在眾多新進的美女中，劉徹最喜歡趙國王夫人。王夫人為劉徹生下了後來的齊王劉閎。這個王夫人和衛子夫一樣出身卑微，可她不像衛子夫一樣有弟弟衛青和外甥霍去病，王夫人找不出一兩個拿得出手的親戚來。她的親戚實在不成器。劉徹就是想提拔王家，都找不到合適的提拔對象。所以王家依然生活在窮困之中。現在，王家突然收到了大將軍、長平侯衛青送來的五百斤黃金，驚喜若狂，忙告訴了王夫人。
王夫人高興得心花怒放，興沖沖地告訴了劉徹。
劉徹卻陷入了沉思。
衛青為什麼這麼做？他完全沒有必要這麼做。劉徹瞭解衛青，知道衛青個性耿直，不會主動巴結賄賂他人。劉徹找了一個機會，當面問衛青送黃金的事情。衛青一五一十地將來龍去脈告訴了劉徹。聽了衛青轉述的甯乘的提醒，劉徹明白，衛青這麼做，是自降身份，表明要繼續謙虛、團結他人的姿態。劉徹鬆了一口氣，也高興了起來。一來，衛青替自己照顧了新寵王家。二來，衛青厚道正直，對皇權敬畏如初，不敢專權跋扈，看來是不會威脅到自己的權威。劉徹對第二點尤其感到高興，對衛青和衛家的防範之心放鬆了好多。那個提醒衛青的甯乘被劉徹任命當了東海都尉。
第二年（元狩元年，公元前122年）四月，劉徹正式冊立衛子夫所生的皇長子、年僅七歲的劉據為太子。
衛家出了一位太子！未來的皇帝將會是衛青的外甥，是霍去病的表弟，衛家的權勢更上了一層樓。現如今，誰還敢來找衛家的麻煩？誰敢來找衛家的麻煩，那是自找麻煩。
事情發展到這裡，衛家的權勢還能再進一步嗎？
當時，平陽公主已經守寡多年，想要再嫁。她召集家臣、門客商議到底嫁給哪個王公顯貴比較好。大家想都沒想，異口同聲地說：「衛青！」平陽公主一聽，心中產生了顧慮。衛家之前是平陽侯家的家奴，現在要平陽公主反過來嫁給衛青，平陽公主的心裡一時接受不了。而且，平陽公主也怕這樁婚事招來非議。
家臣、門客們開導公主說：「衛青是大將軍、萬戶侯，他姐姐是皇后，外甥是太子，另一個外甥是冠軍侯。衛青是有三個兒子，但那也是三位侯爺啊？如果不算公孫家、陳家等衛家的親戚，衛家現在是軍權在握、一門五侯。這樣的人不嫁，公主您還有誰值得嫁呢？」
平陽公主覺得很有道理，就羞答答地將這個想法告訴了衛子夫，托她轉告漢武帝劉徹，希望弟弟為自己和衛青賜婚。當年衛子夫入宮的時候，平陽公主囑托她顯貴之後不要相忘。衛子夫果然沒有忘記，也很願意幫這個忙，轉告了劉徹。劉徹心想，好嘛，我娶了衛青的姐姐，現在衛青要娶我的姐姐，親上加親，是好事。皇帝認可了這門親事後，衛青和平陽公主兩人舉辦了盛大豪華的婚禮。同時，平陽公主還讓自己和前夫生的兒子平陽侯曹襄娶了衛子夫和劉徹生的女兒衛長公主，死心塌地地要和衛家拴在一起。
大臣迎娶昔日的主人、當今皇上的姐姐，漢朝開國以來，還從來沒有一個家族獲得如此尊榮。讓我們一起來盤點一下衛家的權貴網絡，戶主衛青的姐夫是皇帝，姐姐是皇后，外甥是太子，老婆是公主，繼子是駙馬，親戚不是世襲貴族，就是實權將領。當時衛青上下朝，公卿大臣遠遠看見就要下車讓路，立在道旁相迎相送。衛家的富貴榮華算是達到了頂點。