自1957年被錯劃為「右派」到1962年「摘帽」歸隊（當時俗語，即回到原來系統工作，如王世襄因對故宮博物院心存餘悸，在應召調回文物部門工作時選擇了文物博物館研究所，也就是後來分設為文物保護科學技術研究所、古文獻研究所與中國文物研究所這三個機構的前身，而今已更名為中國文化遺產研究院），直至1966年爆發「文化大革命」之前這十年間，王世襄在清雅而平靜的芳嘉園小院裡，生活得忙碌充實而又趣味盎然。趣味盎然自不待說，那主要是因為有黃苗子先生和張光宇先生這兩家人為芳鄰，以及文化藝術界諸多名流高士常相往來；忙碌充實則是王世襄在工作之餘完全沉醉在廣肆收藏和潛心著述之中。有關王世襄收藏過程中諸多具有啟迪和借鑒意義的往事，以及在這期間編撰完成的《髹飾錄解說》《雕刻集影》《畫學彙編》《清代匠作則例彙編》等著述，將在後面章節中分別進行詳細解說，在此只想就同期完成的《高松竹譜》做一補充，而補充內容雖然只有王世襄於1999年5月所寫的一小段話，但是從中依然可以透視出那個混亂年代的某種特性：
明刊《高松竹譜》版心縱、橫均一尺有餘，用郭觶齋精製瓷譜紙手摹，襯以乾隆素箋，分訂兩大冊，盛以錦函。卷首邵章《明高遁山竹譜》題耑。卷末有名公題跋：徐宗浩、張爾田、黃賓虹、傅增湘、吳湖帆、啟功、郭則沄、鄧以蜇、林志鈞、吳詩初、葉恭綽、夏承燾共十二家。1958年人民美術出版社影印出版此譜，摹者署名被改為「王暢安」。並認為題者都是「牛鬼蛇神」，故全部刪去。
王世襄自費油印的《畫學彙編》
這種在極不正常的社會狀態下所產生的遺憾，直到1988年在香港大業公司出版時才得以彌補和修正。然而，類似甚至有過之無不及的例子還有一則：
1958年秋《髹飾錄解說》初稿完成。當時不可能出版，而桂老年事已高，一再囑咐「願見其成」，並許為撰序、題籤。我只好署名改用王暢安，將手稿送到謄印社，自費刻蠟板油印。一日在研究所門口遇見謄印社來人找黨委送審我交印的稿件。頓時我大吃一驚，感到將有大難臨頭，惶惶不可終日。待所長李元慶同志找我談話，才知道他認為《解說》還是一本有用的著作，同意謄印社為我油印。事後又聽說他說服了所內中層領導，取消了本打算開的「右派放毒」批判會，方得化險為夷……
《解說》只油印二百部，分贈博物館、圖書館、漆器廠及不吝賜教的師友。不久即得悉福建名匠師李卓卿將《解說》列為漆器廠教材。揚州廠聞訊派人專程來京索取，研究所中層領導不準會見，不許贈書，致空手失望而歸。杭州廠則不得不去圖書館盡數周之力抄錄全書。……
《解說》曾呈送張效彬前輩。他收藏書畫、青銅器，和陳叔通、齊燕銘、郭沫若諸公有交往。郭老見到此書，致函科學出版社，推薦出版，旋因作者是「右派」而作罷。
1966年，具有前所未有強勁摧殘和破毀能力的「文化大革命」狂飆，已經開始侵襲整個神州大地，王世襄的芳嘉園小院已處在風雨飄搖之中，他不得不考慮如何使那些藏品免遭劫難。確實，「文革」風暴首先橫掃的就是「四舊」物質類，隨即深入到文化、道德、精神和思想等各個領域，其破壞力和負面影響力難以用語言文字描述和形容。
王世襄主動要求抄家證明
「文革」伊始，芳嘉園內便開始禍不單行、雜亂無序起來。首先是黃苗子夫婦被關押進了秦城監獄，他居住的那五間東廂房，除了留有兩小間供給他們三個孩子棲身之外，其中一間被貼上了蓋有鮮紅公章的封條，另外兩大間則被居委會安排住進了與此院極不協調相干的另一家人。據王世襄回憶說，這是一戶日夜辛勤勞作的白姓鐵匠，他不僅整天叮叮噹噹地打鐵、焊洋鐵壺或做烤箱，使王世襄和袁荃猷夫婦每天難以休息，鐵匠老婆還因為專門撿拾破爛，竟然將昔日優雅的小院變成了堆滿破爛廢品的垃圾站。以至於王世襄夫婦和那些珍貴的明式傢俱等收藏品被迫擠壓進了一間北房，雖然使王世襄精通明式傢俱結構肌理的實際才華得到了一次完整而充分的展示，但是後院那五家住戶利用中院後牆搭蓋的油氈頂廚房，則使王世襄每到做飯時便提心吊膽起來，因為他明白只要其中有任何一家廚房起火，他那所有藏品特別是明式傢俱將會隨同北房一起化為灰燼。
為此，王世襄找到國家文物局有關領導進行匯報，而那位領導對於王世襄所反映的這一情況，雖然表示同情、理解和重視，但是他也無可奈何，只是讓有關部門為其配備幾支消防滅火器而已。2007年5月25日，當王世襄將這件往事當作一則笑話向筆者講述時，筆者完全能夠想像得出王世襄當年的無奈和憤懣。至於芳嘉園小院在那個年代裡的具體狀況，今天的我們除了從王世襄的回憶中得知隨後又有幾戶人家搬遷進去之外，還可以從郁風所寫回憶文章中那相關的上百個文字裡揣想得出：
在居委會的安排下，芳嘉園小院便成為八家人的大雜院。東廂房前面的籬笆連同盤繞在上面的粉紅色薔薇都拔掉了，籬笆外王世襄搭的棚架連同掛在上面的葫蘆全拆光了。北房走廊和院子正中都搭起鐵片蓋的小棚做廚房。
這種就連今天普通居民人家也會感到慘不忍睹的狀況竟然延續了十多年。後來王世襄被「解放」出來後多次找到房管部門要求「落實政策」，但是直到1991年郁風寫以上文字時，芳嘉園小院裡依然住著三戶外來人家。這是後話。
記得文藝作品中有一句經典台詞，叫作「最危險的地方往往最安全」，此時的王世襄已經被文物局的紅衛兵小將貼了大字報，隔三岔五的批鬥會或陪斗會往往也少不了他，特別是那些極度瘋狂的「破四舊」場面，他更是多次耳聞目睹過，因此王世襄明白他的這些藏品無疑都屬於「四舊」之列，收藏在自己家中早晚是在劫難逃。當下，王世襄必須要為他那些珍貴的收藏品尋找一個安全處所了。於是，王世襄經過一番深思熟慮之後，便做出了一個完全出乎所有人意料的舉動，那就是「自我革命」。
王世襄的「自我革命」並非親自將自己的藏品搗毀砸爛，而是他主動跑到文物局要求這裡的紅衛兵小將到芳嘉園小院來抄家。果然，文物局裡同行的紅衛兵小將確實與眾不同，他們非常明白這些文物的珍貴價值，在搬運這些藏品時處處小心謹慎，生怕磕碰毀壞了這些他們平時都難得一見的古董寶貝。據說，當這些紅衛兵小將到芳嘉園來「破四舊」時，另一看熱鬧的中學生紅衛兵在一塊巨型條石上踩踏了一下，當即便遭到文物局紅衛兵小將的呵斥：「靠邊點，踩壞了怎麼辦？」而那位中學生紅衛兵則不服氣地反詰說：「踩壞了我賠!」文物局紅衛兵小將遂高傲地說：「你賠得起嗎？你知道這是哪個朝代的？」僅此一句，就嚇得那位原本不服氣的中學生紅衛兵乖乖地站到了一旁，再也不敢哼一聲。
見此情景，再聯想到王世襄之所為，黃苗子和郁風夫婦似乎受到了某種啟發，他們也主動跑到所在單位要求紅衛兵小將前來抄家，因為他們多年搜購積累的有關中外美術方面的書畫書實在是太多太珍貴了，且其中不乏明清刻本或線裝書，即便是國家圖書館也未必收藏有的孤本秘籍。果然，正如黃苗子和郁風夫婦之所願，他們所藏有的書畫書隨後都被小心翼翼地運載而去。望著絕塵而去的卡車，我們似乎可以這樣揣想，王世襄和黃苗子等人的心裡雖有諸多不捨，但也不乏一種如釋重負的輕鬆感，畢竟這比毀損在「破四舊」的人手裡要幸運得多。那時，他們怎麼也不會想到，有一天這些曾經朝夕相伴的珍貴藏品，竟然又被「神仙般地搬回」了芳嘉園。不過，這已經是「文革」運動結束以後的事了。雖然藏品並非是一次性全部發還，而且有的藏品至今毫無蹤跡，但是發還過程中的一些舊事還是值得人們思考的。對此，我們不妨閱讀王世襄關於後來發還三件文物的三段文字回憶：
其一，關於明萬曆纏蓮八寶紋彩金象描金紫漆大箱的發還。王世襄輕描淡寫地寫道：
1983年編寫《明式傢俱珍賞》，此箱未能收入。因「文革」後發還首批抄家文物，均用卡車運到故宮博物院。其目的在可讓故宮得以從中挑選，扣留認為值得由故宮收藏之文物。為此故宮曾成立挑選組，有多位專家參加。其中以工農出身之魏松卿研究員最為積極，共扣留尚均雕紅壽山螭紋印泥盒、銅爐等數十件，此箱亦在其中。因此未能編入《珍賞》一書中。後來吳仲超院長發現扣留抄家文物，不合政策，決定全部發還給原主。1989年我編寫《明式傢俱研究》遂得以將此箱收入該書。
2003年，此箱在中國嘉德拍賣公司舉辦題為「儷松居長物——王世襄、袁荃猷珍藏中國藝術品拍賣會」上競拍出了一百三十二萬元人民幣的震撼價。
其二，即上面特別提到的清尚均雕紅壽山螭紋印泥盒的發還。對此，當年只能點頭稱「是」的王世襄後來則有話要說：
螭紋壽山印泥盒，原為舅父墨茶閣中物，幼年曾於畫案上見之，備受北樓先生鍾愛。「文革」前散出，為估人所有。予知其為重要文玩，幾經輾轉始以厚酬易得。「文革」中，印泥盒與其他長物全部被抄。發還時又隨我家被抄文物運入故宮。目的在給予國家博物館一次從容挑選、再次沒收的機會。故宮為此成立專家挑選組，其中積極性最高的為魏松卿同志。「三反」運動後，故宮開展「大換班」，從部隊調入大量工農兵幹部，其中有魏同志。抗日時期，他擔任地下工作，以賣酒隱其身份，文化水平雖不高，但來故宮後竟對文物感興趣，肯用心研究，並為此而不辭專程走訪離職已多年之下走，研討有關髹飾及其他工藝問題，在轉業幹部中實屬難得。我也因此和他有交往。渠曾面告：「你的尚均雕印泥盒，是上上精品，故宮都沒有，這次我們挑上了，不還給你了。」我點頭稱「是」。此次發還而被扣之文物有四五十件之多，除印泥盒外有銅爐二十餘座。後來，此事被吳仲超院長發現，認為不符合國家落實政策規定，又全部送還我家。
其三，關於明魚龍海獸紫檀筆筒的發還，王世襄有許多鬱積在心的話更是不能不一吐為快：
「文革」後發還被抄文物，不見蹤影者何止百數十件，一時未能想起者尚不在此例，其中有三件紫檀筆筒，皆予銘心之物。……為此三件及其他未發還文物曾多次去府學胡同北京市文物管理處查詢，均毫無結果。1983年，故宮博物院邀我至北五所庫房鑒定竹刻並為定級，啟一櫃，魚龍海獸筆筒竟赫然在屜板上。取視，內貼紙條書一「毛」字。詢其故，始知為「毛家灣林彪住宅送來」之標記。予上書國家文物局，說明筆筒乃我被抄未還之文物。經國家文物局與北京市文物管理處查核抄家底冊及「四人幫」從文管處取走文物之登記賬，發現此筆筒確實抄自我家，後被黃永勝拿走，故記在黃之賬上。今有下落，自應發還給我。數月後筆筒由文管處送還至我家。事後我有一事不明：筆筒既被黃永勝拿走，記在黃之賬上，何以會由毛家灣林彪住宅送交故宮？不得不求教於文管處工作人員之「文革」前即相識者。渠謂當時「四人幫」及其爪牙，往往三五輛汽車蜂擁而至。進門各選所需，然後彼此評比，爭論優劣，間以嬉笑打罵，醜態百出。在離去前，手中所選文物，往往已經過交換。故由姓黃轉為姓林，實不足為奇雲。是真可謂「國之將亡，必出妖孽」也！
與此有異曲同工之「妙」的，王世襄還記述一事：
予被抄圖書中，使用最多，故盼早日歸還者為商務影印、後附四角號碼索引之七卷本《佩文韻府》，當時無法買到，不得不求助於文管處之工作人員，其中有書行轉業相識已數十年者。一年後，通知我前往領取。告知我書前不久方從吳法憲家中取回。吾曾於報端見吳之尊容，腦滿腸肥似胸無點墨者，真不知其要《佩文韻府》作何用也。
回味這樣的歷史舊事，我們沒有「反攻倒算」之意，當然也沒有理由懷疑王世襄和黃苗子等人當初「自我革命」的動機，更沒有理由認為他們的舉動是對自己藏品或者直接說中國傳統文化的一種輕視，因為在那個包括文化幾乎所有一切都被納入政治評判軌道的年代裡，別說是像王世襄這樣品操高尚的知識分子，即便是作為一個普通人的尊嚴都得不到最起碼的應有保障，又何談保證文化或精神之載體的安全無損呢，更別說為了興趣或專業進行什麼學術研究著述了。那時要想保有作為文化學者的尊嚴，只能是效仿陳夢家、鄧拓、老捨和傅雷，以一種決絕的方式去維護表象和內在的體面。要麼，就只能像張伯駒、黃苗子和王世襄那樣扯掉表象體面，選擇忍辱負重艱難地活下去。姑且不論這兩種方式正確與否，也不必衡量這兩種方式的價值比重有幾何，在此只想先列舉兩例。
「文革」結束後的王世襄與老伴袁荃猷在芳嘉園留影
一例：1966年「文革」初期，陳夢家只因發表《慎重一點「改革」漢字》一文，就被打成了文化界著名的「四大右派」之一，隨即遭受到無休無止的批鬥、罰跪、侮辱和關押。據說，有一次陳夢家被強迫低頭長跪在烈日當空的院中，任人把石塊和廢紙等雜物投擲到他身上，甚至還有人將痰也吐到他的頭上。這位精神高貴的學術大師隨後在一位友人的寓所裡，憤然說了一句「我不能再讓別人當猴子耍」之後，便毅然決然地留下一紙遺書，於當年9月3日含恨自殺而去。而隨著陳夢家的憤懣逝去，夫人趙蘿蕤女士便開始出現長時間的精神失常。隨後他們歷時多年搜購的明式傢俱也被紅衛兵裝滿兩卡車揚長而去，雖然「落實政策」後予以發還，但已經是損失過半了。
二例：王世襄雖然主動要求紅衛兵將自己的收藏品悉數抄走，他也曾遭受到多次無端的批鬥，以及被強令幾乎每天要蹬著三輪車從大郊亭運送五袋水泥到沙灘紅樓（原國家文物局辦公地），最後不得不拖著羸弱的病體被放逐到湖北咸寧參加勞動改造長達五年之久。十年後，當他那些藏品被大部分發還時，他終於得以據此撰寫出了諸多鴻篇巨製，從而為今人和後人留下了無盡的文化財富。如果從另外一種角度來看待此事，正如一位作家所說：有時候選擇生要比選擇死艱難得多。試想，王世襄在那漫長的屈辱歲月中，他高貴心靈和清爽品格所遭受的嚴重摧殘，怎能使他無動於衷呢？
無論是陳夢家們選擇一死而快，還是王世襄們屈辱地活著，他們都是勇敢者，都是中國傳統文化的偉大傳承者。如果沒有他們的一死一生，不僅不足以彰顯中國「士」的兩種永恆精神，也不能使中國璀璨的傳統文化得以傳承和發揚，他們都從各自的角度闡釋和弘揚著中國文化、信念、傳統和精神，這是一個民族賴以生生不息的精神血液。
黃永玉先生在《大家張伯駒先生印象》中稱張伯駒為「大忍人」，王世襄又何嘗不是呢？王世襄心裡一直揣著那兩張未能解凍冰釋的「取保釋放」和被故宮博物院除名之通知，這種大忍對於一位當時已經九十多歲高齡的老人來說是否太過殘忍和沉重了呢？即便王世襄擁有高大健碩的身軀以及大忍堅強的心靈，也不該讓他如此長久地背負著歷史「重任」而不予卸載，哪怕是進行一次有效的減負，我們也願意相信以王世襄的意志品格，他必將給世人帶來更多出乎意想的學術驚喜。