投降的武衛將軍費穆是爾朱榮的老朋友。爾朱榮年輕時，在洛陽當過一段時間的軍官，兩人當時就認識。如今久別重逢，兩人都很高興，促膝長談起來。
談著談著，談出問題來了。爾朱榮和費穆很快發洩起對朝政的不滿，感歎起軍隊地位之低、待遇之差。這一切都緣於北魏的「文武分治」。
北魏是馬背上打下來的天下。自孝文帝漢化以來，「文武分治」，文官序列開始壓過武將序列。文官職權上漲，發展前途廣闊；武將升轉、調任不易。漸漸的，朝野重文輕武，文官輕視武將。大臣都拒絕調任武職。飽受欺壓的官兵們則越來越不滿。孝明帝元詡時期，朝廷採納大臣張仲瑀的意見，規定軍官不能擔任重要官職，不能進入權力核心。消息傳出，駐紮在洛陽城中的禁衛軍官兵發動騷亂，將始作俑者張仲瑀打成重傷，將其弟張始均丟到火裡活活燒死。其父征西將軍張彝也被打得奄奄一息，兩天後不治身亡。可見當時的文武矛盾激化到了何等地步。
更大的矛盾在北方邊界地區醞釀。為防禦北方強大的柔然勢力，北魏在東起河北、西至黃河河套地區，延袤兩千餘里的邊境線上設置了沃野、懷朔、武川、撫冥、柔玄和懷荒六大軍鎮，調兵遣將駐守，稱為「六鎮」。初期，北魏朝野非常重視六鎮。六鎮的將領都從北魏貴族豪強，甚至是宗室子弟中挑選；官兵也是鮮卑族的精壯。六鎮將領被視為「國之肺腑」，陞遷的機會多，隨時可以返回首都當京官；士兵們被視為「國家精銳」，地位崇高，待遇優厚。女子們都以能嫁給六鎮的邊將和士兵為榮。大規模漢化後，國家崇文輕武，遊戲規則變了。在疆場上的英勇斬殺不再被人稱道，詩書禮樂和朝堂上的爾虞我詐成了遊戲的核心規則。六鎮的政治、軍事地位不斷降低。六鎮在漢化改革過程中被「遺忘」了，同樣是鮮卑人的官兵們被排擠出權力核心，他們的陞遷和待遇遠遠落後於內地的同族、同僚們。大多數人一輩子也不用指望陞遷到內地去了。洛陽的貴族們將邊將看作鄙夷的粗俗軍人，傲慢得很。優厚待遇沒有了，連吃穿都失去了保障，士兵們只好轉而聚斂錢財，精壯的就到境外去擄掠財物，老弱的只能砍伐山林、耕種田地，辛辛苦苦一整年收入微不足道。更可悲的是，許多士兵拖家帶口，常年滯留邊鎮，生活艱難且沒有希望，類似於流放。
幾十年間，六鎮官兵從天堂跌入了地獄、從光榮的國家棟樑變為了羞恥的監獄苦役。被背叛、被忽視的情緒和怨恨，迫切希望改善處境的思想，充斥在六鎮之中，最終引發了六鎮起義。爾朱榮從鎮壓起義起家，其間收編了許多起義的六鎮官兵，後者逐漸成了爾朱榮部隊的主力。此時，他們正惡狠狠地盯著洛陽城的達官顯貴們。
攻擊文武分治和文官集團，成了爾朱榮和費穆的共同話題。費穆不知是為了表忠心，還是發洩不滿，給爾朱榮出了一個殘忍的主意：「您的兵馬不到萬人，如今輕易長驅直入洛陽，既沒有戰勝之威，恐怕不能長久服眾。京師之眾，百官之盛，一旦知道您的虛實，必然會產生輕侮之心。如果不『大行誅罰』，樹立親信，恐怕等你北歸之後洛陽就會發生變故。到時候，您就前功盡棄了。」費穆所說的百官「輕侮之心」指的是文官集團對軍官們的輕視，爾朱榮久居軍陣，自然感同身受。他對費穆的意見很認同。客觀上，爾朱榮面對不費吹灰之力得來的勝利老覺得不踏實，對自身實力不自信。
於是，爾朱榮召集部將說：「洛陽人物繁盛，驕奢成性，不除掉他們恐怕難以控制。我想趁著百官出迎新皇帝之時，『悉誅之』，如何？」爾朱榮已經把費穆的「大行誅罰」發展為「悉誅百官」了。部將慕容紹宗反對說：「我們之所以取勝，是因為太后無道，失去了民心。主公以正義之師入洛陽，突然要誅殺百官，不是良策。」爾朱榮沒有採納慕容紹宗的意見，還是決心大開殺戒來立威。
元子攸登基的第三天，爾朱榮以「祭天」為名，命令洛陽的百官到河陰行宮的西北集合參加。文武官員陸續趕到河陰。當時的場面非常混亂，大臣越聚越多，既沒有人出面組織，也談不上任何祭天的準備工作，反而有騎兵橫刀立馬、氣勢洶洶地環繞著群臣。
宣稱已經出家的胡太后被從寺廟中搜了出來，連同她立的幼帝元釗一道被爾朱榮的騎兵押送到了河陰。胡太后看到殺氣騰騰的爾朱榮，「多所陳說」，試圖為自己的為所欲為辯解。爾朱榮沒聽幾句就拂袖而去，下令把帝后扔到黃河裡去。於是，士兵們把胡太后和元釗裝入竹籠，溺死在黃河裡了。
接著，爾朱榮把宗室諸王集合起來，開始訓話。他大聲追問王爺們「天下喪亂」、「明帝卒崩」的原因，諸位王爺無言以對。爾朱榮直言：「這都是你們貪腐暴虐，不相匡弼導致的惡果！」隨即，他揮手示意屠殺在場的所有王公。高陽王兼丞相元雍、司空元欽、儀同三司元恆芝、東平王元略、廣平王元悌、常山王元邵、北平王元超、任城王元彝、趙郡王元毓、中山王元叔仁、齊郡王元溫等人遇害。其中，遇害的東平王元略是爾朱榮的內侄。元略平日自詡為皇親國戚又是清流大臣，對赳赳武夫的姑父爾朱榮很輕慢，所以雖然是爾朱榮的近親，也遭到無情殺戮。
宗室王公被殺，引起了雲集的大臣們的恐慌。場面出現了騷動。外圍的騎兵毫不猶豫地對手無寸鐵的百官展開了屠殺。頓時，河陰屍體相陳，血流成河。遇害的官員人數在兩千人左右，超過京官人數的一半，且都是有資格參與迎駕和祭天儀式的高級官員。被亂兵殺害的大臣不僅包括了素來為武人厭惡的眾多世族大家子弟和奉行「文武分治」、鄙視虐待武人的文官（難怪士兵們殺起來那麼起勁，一點都不含糊），也包括了很多追隨元子攸、對爾朱榮有功的大臣，比如獻出黃河投降的鄭季明、李遐等人。當時聚集在洛陽的漢化鮮卑貴族和出仕北魏政權中的漢族大族，無論良奸，全部被刀劈斧砍，殺個精光。
有一百多位「祭天」遲到的大臣，被騎兵包圍起來。士兵們舉刀正要殺戮、大臣們伏地求饒的時候，有將領高喊：「你們誰能寫禪文，可以饒他一命。」所謂的禪文，自然是讓北魏皇帝禪讓天下給他人。當時在包圍圈中的隴西李神俊、頓丘李諧、太原溫子升等人都寫得一手好文章、名聲在外，但不願當亂臣賊子、恥於從命，趴在地上不吭聲。御史趙元則很怕死，連忙爬出來說自己能寫禪文。於是，爾朱榮的將士授意他寫了一篇北魏國運已絕、爾朱榮堪當大任的文章。
在屠殺之前，爾朱榮有選擇地保留了一批大臣，並不是對所有人都大開殺戒。元順是個耿直忠心的大臣，在萬馬齊喑的大環境中多次不合時宜地死諫。爾朱榮很讚賞元順的品格，事先派人傳話給元順：「大人留在洛陽辦公，不必去祭天。」一些曾經對外地官兵有恩或者為武人鳴不平的官員，事先也得到了關照。比如江陽王元繼對爾朱榮之前多方照顧和提攜，被告知留在洛陽；大臣山偉曾經建議提高北方將士的待遇，被六鎮官兵們認為是「好人」，屠殺當天特意被安排在洛陽值班。
還有一點容易被遺漏的史實是：部分大臣參與了對同僚的屠殺。這些人主要是不掌權的疏遠宗室和洛陽的禁衛軍將領。由於宗室繁衍以及朝廷對宗室成員的恩賞隨著血緣的疏遠而遞交，越來越多的「皇親貴胄」被排除出權貴行列。那些血脈疏遠的元氏宗室生活並不如意，充滿失落和妒忌。最終，他們加入爾朱氏的陣營，參與骨肉殘殺。比如宗室元禹早在爾朱榮起兵前就投入麾下，參與了大屠殺的醞釀和實施；并州刺史元天穆也是宗室，老早就和爾朱榮結為異姓兄弟。爾朱榮起兵後，并州的政務就全權委託給了元天穆。此外，領軍將軍元鷙也是宗室，投靠爾朱榮後，在大屠殺當天還和爾朱榮一同登上高塚俯看血淋淋的屠殺現場。