1967年1月4日是多事之日：這天，《文匯報》「星火燎原」革命造反總部奪權，成為上海「一月風暴」的開端；這天，中共中央政治局常委、國務院副總理、「第四號人物」陶鑄被突然打倒；也就在這一天，劉志堅——當時除擔任總政副主任外，還擔任「中央文革小組」副組長、「全軍文化革命小組」組長，一下子也成了打倒對象。
前一天——1月3日，劉志堅還正處於高度忙碌之中。那天，許多「紅衛兵」要揪斗陳毅。葉劍英知道了，急召劉志堅，要他做工作，不許揪斗陳毅。劉志堅剛到葉帥那裡，周恩來總理來了電話，要劉志堅火速趕往釣魚台。到了釣魚台，周恩來也要劉志堅出面做工作，勸造反派們不要開批鬥陳毅大會，希望劉志堅對學生們講幾句話。
這天晚上，49所大專院校派出100多名代表，來到人民大會堂，要求召開批陳大會。根據周總理的指示，劉志堅出面勸導。談了一晚上，未能完全說服學生代表。於是，1月4日晚，在人民大會堂繼續跟學生代表談話。周恩來總理發表了講話，勸告學生們不要組織批陳大會。劉志堅也講了話，贊同總理的意見。然後，劉志堅又說，陳毅同志對部隊的講話如有不妥之處，首先的責任在於他——因為他是全軍「文革」小組的組長。他正在說著，忽聽得康生拍了桌子，厲聲道：「劉志堅，你是劉、鄧資產階級反動路線在軍隊裡的代表。要揭開軍隊裡階級鬥爭的蓋子，首先要批判劉志堅，打倒劉志堅！」
康生是「中央文革小組」的顧問。康生這麼一發威，那些學生代表就大轟大嗡起來，高呼口號「打倒劉志堅」。接見會成了打鬥會。一直折騰到5日凌晨，「打倒劉志堅」之聲仍不絕於耳。當劉志堅好不容易回到家中，天已濛濛亮了。
那些學生代表迅速把康生的「號令」傳遍各校。5日，五千「紅衛兵」前往國防部，要求葉劍英、蕭華接見並交出劉志堅。葉劍英、蕭華拒不接見。劉志堅聞訊，怕波及他們，便給葉帥打電話：「我去國防部見學生。」葉帥歎了一口氣，說道：「你去了就回不來了！」
冒著嚴寒，劉志堅還是去了。到了那裡，劉志堅立即陷入重圍之中。他的帽徽、領章被揪了下來，一頂高帽子按在他的頭上，「打倒劉志堅」的口號聲震耳欲聾。
果真，劉志堅去了就回不來了。批鬥之後，當天晚上，劉志堅被關押在一輛大卡車上。接著，被弄到一間空房子裡關了起來，那房子原是總政一位副處長住的。
1月8日，劉志堅被轉送到北京衛戍區部隊，關押在北京順義縣。此後，大會批、小會鬥，他頭上的「帽子」也越來越多，從「資產階級反動路線在軍隊的代表」，升級到「兩面派」、「反革命修正主義分子」、「三反分子」，以至升級到「叛徒」。
劉志堅被打倒，導火線是陳毅問題。其實，「中央文革小組」要把劉志堅「端」出來，已經籌劃多日了。
那位「中央文革小組」的「第一副組長」江青，早已感到劉志堅「不聽話」。她發覺，劉志堅常在葉劍英、陳毅那裡匯報工作。江青便說劉志堅這人「不可靠」。
1967年1月4日，「中央文革小組」的「大左派」們一齊上陣，向劉志堅開火。除了康生開了頭炮之外，江青說：「像劉志堅這樣的人物，我們幫你們揭發。我名義上是軍隊的文化顧問，但是他從不同我匯報……他是典型的兩面派。」江青還說：「在軍內貫徹資產階級反動路線的就是劉志堅為首的全軍文革小組……劉志堅不向中央文革小組請示。全軍文革小組必須改組。」
陳伯達則「揭發」說：「劉志堅是叛徒！」
不久，林彪發話了：「全軍文革小組要改組。劉志堅犯了大錯誤，實際上是資產階級反動路線在軍隊的代理人。他發表不少不正確的指示。撤工作組，本來他同意伯達同志的意見，以後又反對。」
這樣，1967年1月11日，中央軍委下令改組了「全軍文化革命小組」，宣佈撤銷劉志堅的組長職務。一時間，「打倒劉志堅」的大字報、大字標語，撒滿全國各地。
這裡先按下當時強加在劉志堅頭上的種種不實之詞不表，單說說那所謂的「叛徒」問題。
在「文革」中，動不動給人扣上一頂「叛徒」帽子，是流行的「整人術」之一。
其實，劉志堅出身貧苦，要過飯，做過六年長工，參加過舉世聞名的二萬五千里長征。
他的雙腿，在那戰火紛飛的歲月，曾三次受了重傷：1934年在與國民黨軍隊作戰時，1935年在長征途中，1942年與日本軍隊作戰時。
三次重傷，使他雙腿變得行走不便。但是，他一直在軍隊工作。
他，怎麼忽地被說成「叛徒」了呢？
後來，徐向前元帥曾這樣說明了事實的真相：「陳伯達說劉志堅同志是叛徒，其實根本不是那麼回事。那是在抗日戰爭時的一次戰鬥中，我們的部隊遭到敵人襲擊，劉志堅同志被俘了。冀南部隊司令部接到地下情報組織的消息，說日本人在某時通過某地。根據這個情報，我們的部隊在敵人通過的路上打了一個伏擊，當天就把劉志堅同志救出來，根本無所謂叛變。」
劉志堅長期在部隊擔任領導工作，參加了土地革命、抗日戰爭、解放戰爭，作出許多貢獻。因此，他在1955年被授予中將軍銜。
穿軍裝的劉志堅，本來跟「中央文革小組」的那些「大左派」秀才們無緣。只是因為歷史的偶然，他作為總政第一副主任，不能不參加那個以「林彪委託」名義召開的江青「一人談」座談會，從此跟江青有了工作上的來往。也正因為這樣，他成了「中央文革小組」的副組長，「全軍文革小組組長」。
劉志堅畢竟是將軍，是在中央軍委領導下工作的。雖說在《五一六通知》下達之後，全國處於大動亂之中，但他在葉劍英、蕭華支持下，仍努力維護軍隊的穩定，對軍隊的「文革」作出種種限制性的規定。例如，「文革」初期，毛澤東不在北京，根據劉少奇指示，在葉劍英元帥的主持下，劉志堅協助、起草文件，把部隊的「文革」限定於「五界」之內，即院校、文藝團體、體工隊、軍樂隊、八一電影製片廠。規定師以下不准搞「四大」（即大鳴、大放、大字報、大辯論），不久又改為軍以下不准搞「四大」，並規定大軍區如果要搞「四大」，必須報中央軍委批准。
也正因為這樣，1966年8月，劉志堅出席中共八屆十一中全會時，建議「十五條」中增加一條，變成了「十六條」。劉志堅執筆，補寫了這新增的一條：「部隊：部隊的文化革命運動和社會主義教育運動，按照中央軍委和總政治部的指示進行。」
這一條被一字不易補入《決定》，使「十五條」變成「十六條」，被全會通過。
由於補充了這一條，強調了部隊與地方的不同，使部隊的「文革」受到嚴格的限制，諸如不許組織「紅衛兵」，不許成立「戰鬥隊」，不許搞串連，堅持正面教育，運動必須在黨委領導下進行，等等。
江青日漸不滿於劉志堅。那時，「中央文革小組」的「大本營」設在釣魚台。劉志堅住在二號樓。但是，他是軍隊的幹部，是在中央軍委副主席兼秘書長葉帥領導下工作。葉帥住在北京西山，常要找他談話。他乾脆從釣魚台搬到了西山去住。那時，聶榮臻元帥也住在那裡。陳毅元帥則常去西山。由於劉志堅跟幾位老帥的關係密切，江青便要整掉劉志堅。
最使江青不滿的是1966年11月13日、29日，中央軍委副主席葉劍英、陳毅、徐向前、賀龍一起在北京工人體育場接見軍隊院校師生代表，就軍隊「文革」問題作了重要講話。葉劍英指出：真理是真理，跨過真理一步，就是錯誤，就變成了謬論。學習毛澤東著作，不是學耶穌基督教的聖經，不是迷信。他指出，軍隊少數人在「文革」中表現不好，明明看到有的老同志心臟病發了，還要抓來鬥，這些人是在敗壞我軍光榮傳統。
據劉志堅回憶，陳毅元帥是蕭華打電話請來的。葉、徐、賀三帥講話時都有稿子，葉帥有時離開稿子講些話，而陳毅沒有講話稿。心直口快的陳毅，尖銳地批判了那些「大左派」們，而且明確地說：「我的講話是有意得罪人的。」
於是，江青遷怒於劉志堅，要劉志堅檢查。劉志堅不得不在12月中旬寫了檢查，江青看後罵道：「隔靴搔癢！」
此後，造反派們要批鬥陳毅。周總理找劉志堅談話，要劉志堅出面做勸阻工作，終於導致1967年1月4日晚康生拍桌子那一幕的發生。
劉志堅在順義被關押了三個月，受到許多次批鬥，然後，被押回拐棒胡同家中看管。一個排警戒著那座四合院。劉志堅被關在一間空空的小屋裡，一張小床，一張三屜桌，床前一盞一百瓦的燈泡通宵達旦亮著，時時受到嚴密的監視——他，一位久經沙場的中將，已道道地地成為囚徒——在沒有經過開庭，沒有審判，沒有依據任何法律的情況下。
不久，蕭華也被打倒，張春橋出任總政治部主任。
劉志堅的夫人劉萊瑛被關押在另一處，兩年後，她才獲釋。但是，她不能探望丈夫。在林彪「折戟沉沙」之後，她才被允許每個月回家一次，看望劉志堅。
在劉志堅被打倒之後，「中央文革小組」的副組長只剩下江青和張春橋了——另一副組長王任重在劉志堅之前便被打倒了。
打倒了陶鑄，「中央文革小組」的顧問只剩康生了。
組員之中，謝鏜忠、尹達、穆欣也先後被打倒。
這麼一來，「中央文革小組」中的「異己」被逐一清除，剩下的是清一色的「左派」陣營：
組長：陳伯達；
顧問：康生；
第一副組長：江青，副組長：張春橋；
組員：王力、關鋒、戚本禹、姚文元。