一九三二年一月二十八日夜十一時，日本海軍陸戰隊突然進攻上海閘北地區，狂轟濫炸，使上海遭到空前浩劫。我國最大的出版機構商務印書館及其附設的東方圖書館，慘遭炸毀，燒了三天三夜，紙灰飄揚，甚至南市和徐家匯一帶，上空的紙灰像白蝴蝶一樣隨風飛舞。這是我國文化無法彌補的損失。
東方圖書館對外開放雖在一九二六年，但圖書的收藏，於前清光緒年間商務印書館建成新屋於寶山路後，就已開始，時為一九四年。
據聞歸安陸氏皕宋樓藏書出讓時，商務印書館編譯所所長張元濟索得陸氏書目，請示於該館經理夏瑞芳。那時該館的資產僅數十萬元，夏瑞芳慨然撥現金八萬元收購，以備編輯所參考之用，事雖未成，也可見他致力於文化事業決心之大。此後陸續收進會稽徐氏熔經鑄史齋、長洲蔣氏秦漢十印齋、太倉顧氏謏聞齋散出的藏書，辟涵芬樓以儲藏。未幾，辛亥革命成功，清宗室盛昱意園、豐順丁日昌持靜齋、江陰繆荃孫藝風堂藏書散出，商務又各購得數千百種。凡二十年間，廣事搜羅新舊圖書，已達數十萬冊之多。
一九二四年，該館出其歷年盈餘中所提存的款項，計規銀十一萬餘兩，在總廠對面寶山路西興建五層鋼骨水泥大廈，移涵芬樓所藏圖書，充實其中，名為東方圖書館，一九二六年對外開放。一九二九年，添設兒童圖書館，一九三一年，復設流通部，以貫徹服務社會的初旨。
東方圖書館的五層大廈，最上層為雜誌報章保存室，及商務歷年出版圖書保存室。四層為普通書庫，佔地四千六百方尺，置書架五十六排，共三百七十餘架，統長一萬四千八百餘尺，可藏書四十餘萬冊。四層一部分及三層為善本室，內藏涵芬樓善本書及全國地方志。二層為閱覽室、雜誌陳列室及事務室等。下層為流通部藏書室及事務室。館南空場為花圃，南面建西式平房五間，為兒童圖書館。
東方圖書館在「一·二八」之前，藏書五十一萬八千餘冊，圖表照片五千餘種，居當時全國各地圖書館之首（據楊家駱的《圖書年鑒》上載，當時北京圖書館藏書僅四十餘萬冊）。其中除普通書籍外，善本書中，有宋版一百二十九種，二千五百一十四冊。元版一百七十九種，三千一百二十四冊。明版一千四百一十九種，一萬五千八百三十三冊。清代較精版一百三十八種，三千零三十七冊。鈔本一千四百六十種，七千七百十二冊，名人批校本二百八十八種，二千一百二十六冊。稿本七十一種，三百五十四冊。雜本三十一種，三百八十三冊。如以舊四部分類而言，計經部三百五十四種，二千九百七十三冊。史部一千一百一十七種，一萬一千八百二十冊。子部一千種，九千五百五十五冊。集部一千二百七十四種，一萬零七百三十五冊。此外一九三一年，還收進揚州何氏藏書四萬餘冊，部分版本正在整理，尚未計算在內。全國地方志約二千六百六十五種，二萬五千八百三十八冊，內元代纂修者二種，明代纂修者三十九種，清代及民國時期纂修者二千五百二十四種，冊數更多。其中有很多孤本，如萬曆年《吳縣志》五十四卷、《旌德縣志》十卷、《臨江府志》十四卷、《荊州府志》五卷、《黃岡縣志》十卷、《大昌縣志》六卷、《建陽縣志》八卷、《南皮縣志》十七卷、《寶雞縣志》三卷。還有，僅有的鈔本和原稿如李鍾峨的《通江縣志》、張鳳孫的《泰寧縣志》，魏嵉的《長泰縣志》，周㑺的《信宜縣志》、宋錦的《崖州志》，胡勳裕的《始興縣志》、周敘彝的《安南縣志》、孔尚標的《同官縣志》、端方的《磚坪廳志》、武全文的《崇信縣志》、德俊的《兩當縣志》、楊鑣的《復州鄉土志》等，以及僅國外美國國會圖書館有藏的羅定權《資縣志》、北京圖書館所藏尚缺卷五的蘇佳嗣《長沙府志》全部，科學院所藏尚缺一至四卷的呈麟《南溪縣志》全部。至於稀少珍本，更不及備錄。外文圖書二萬餘冊，其中有十五世紀前出版的西洋古籍多種。
外國雜誌報章，也極完備，著名的有荷蘭出版的《通報》，英國亞洲文化協會所出版的《學報》，德國出版的《大亞洲及中國》等雜誌，都是研究我國國故的參考書，且屬全份，尤為珍貴。此外還有福州及上海出版的《教務雜誌》，及一八三二年至一八五一年間香港出版久已絕版的《中國匯報》《哲學評論》《愛丁堡評論》等雜誌全份，尤為難得。該館所藏的科學雜誌，也很珍貴，如出版已達一百多年的德國李比希《化學雜誌》的初版全套，就是遠東唯一孤本。
至於我國出版的日報，如上海的《時報》《神州日報》《民國日報》，天津的《大公報》《益世報》，以及清末光緒、宣統之間與《京報》並行的《諭折匯存》，均藏有全份。上海的《申報》《新聞報》，該館所藏，也都達三十年以上。我國雜誌之備有全份者，為數更多，如《新民叢報》《國聞週報》，以及該館出版的《外交報》《東方雜誌》《繡像小說》《小說月報》等等，都是不易搜集的。