張元濟為商務印書館主編《四部叢刊》正續編及三編後，又致全力於《百衲本二十四史》的校刊。此後就把叢書的整理工作，交給了王雲五。王一方面主編《萬有文庫》一、二集，一方面又從事《叢書集成》的編輯。這時尚在一九三五年，選定最有學術價值的叢書一百部，先行出版，定名《叢書集成初編》，嗣後再出二編、三編，和《四部叢刊》《萬有文庫》一樣，陸續出版，以期集古今叢書之大成。當時曾刊《叢書集成初編目錄》一書，作為宣傳，刊載輯印叢書集成初編緣起，原文很長，茲摘錄一段如下：「半載以還，搜求探討，朝斯夕斯，選定叢書百部，去取之際，以實用與罕見二者為標準，而以各類具備為範圍。別為普通叢書、專科叢書、地方叢書三類，各分為若干目。普通叢書中，宋代佔二部，明代二十一部，清代五十七部。專科叢書中，經學、小學、史地、目錄、醫學、藝術、軍學諸目合十二部。地方叢書中，省區郡邑二目各四部。其間罕見者如元刊之《濟生拔萃》、明刊之《范氏奇書》《今獻匯言》《百陵學山》《兩京遺編》《三代遺書》《夷門廣牘》《紀錄彙編》《天都閣藏書》等，清刊之《學海類編》《學津討原》等。雖其中間有刪節，微留遺憾，要皆為海內僅存之本，殘圭斷璧，世知寶貴，今各圖書館藏書家斥巨資求之而不可得者也。至若清代巨製，如武英殿聚珍版、知不足齋、粵雅堂、海山仙館、墨海金壺、藉月山房、史學、畿輔、金華等，原刻本每部多至數百冊，內容豐富精審，皆研究國學者當讀之書，所謂合乎實用者，其信然矣。」又云：「綜計所選叢書百部，原約六千種，今去其重出者千數百種，實存約四千一百種。原二萬七千餘卷，今減為約二萬卷。以種數言，多於《四庫全書》著錄者十之二；以字數言，約當《四庫全書》著錄者三之一。命名《叢書集成》，紀其實也。」
原來初編叢書百部中，如有一書，頻見於數叢書中的，就取最足之本。同屬足本，沒有校注的，取最早出之本，有校注的，取最後出之本。名同而實異的，兼收並蓄。名異而實同的，擇善刊入，而注其異名。緣起謂六千種去其重出，實存約四千一百種，實則四千一百種，確數為四千零六十四種。排印以五號字為主，有不宜排印的，那就改為影印，版式寬市尺三寸五分，高五寸二分，與《萬有文庫》完全相同。紙張用道林紙和新聞紙兩種，普通本分裝四千冊，精裝本分裝一千冊。一九三五年五月起發售預約，預約價普通裝道林紙本四百六十元，新聞紙本三百元。精裝本道林紙的一千元。自一九三五年十二月起，原擬每隔半年出書二期，第一期一百三十一種，四百冊，第二期五百零三種，八百冊，第三期七百五十種，八百冊。不料出至第三期後，「八一三」滬戰爆發，商務印刷廠地處戰區，無法繼續印書。後在租界另設工場，並求助於香港分廠，把沒有刊出之書，重行發排，但生產力已大不如前。直至一九三八年六月續出第四期書，三百零一種，四百冊。一九三九年六月，出第五期書，四百三十五種，四百冊。一九四年初，續出第六期，八百二十八種，六百冊。尚有第七期書一千一百十六種，六百冊，預計一九四一年可以如數出齊，奈香港淪陷，分廠無能為助，上海日寇進入租界，業務完全停頓。所有製成的書版，無法付印，已印成的書頁，無法裝訂，東搬西移，損失很多。抗戰勝利之後，第七期印成書，已為數不多，且須清償預約戶，加之逐年配發，逐年減少。解放後，發行移歸新華書店，到一九五四年四月，商務轉入公私合營，第七期書只留一百多種，六十七冊，即前一至六期書亦告殘缺。一九五九年古籍書店為了配成整部，供應讀者需要，和商務聯繫，有補印《叢書集成》缺書之舉。在徵求預約廣告中，有全部共計三千四百六十七冊云云，實非全璧，尚缺約一千種，五百三十三冊。初編叢書百部，未能齊全，確甚感遺憾。