光緒十八年，杜月笙五歲，漸漸懂得人事，自以為他的家庭相當美滿，父母雙親對他是一例的嫟愛備至。這一年，上海夏秋大旱，居民紛紛逃荒就食，杜月笙一家三口，困守楊樹浦。陰曆十二月初九，天降大雪，氣候奇冷，杜文卿得了病，不及醫藥，油盡燈枯，他病死於妻兒之前。
溫柔沉默的張太夫人，表現得無比堅強。她和杜月笙遵禮成服，為杜文卿備就衣衾棺木，母子倆哭著扶柩還鄉。和杜月笙的生母死時一樣，無以營葬。杜文卿的靈柩由他繼室和愛兒束以稻草，也是暫厝在田塍上。他和他的原配朱氏夫人，雖然死都無法同穴，但是總算並肩而厝，仰撿看著天光。數年後，像似奇跡。兩口棺木之間，長出一棵黃楊樹，枝繁葉茂，覆蔭杜文卿夫婦的遺骸。這一棵樹，至今應仍存在。
二十五年後杜月笙發跡了，他一心想選擇一處好穴為他的父母落塋，藉以了卻他抱憾多年的一大心願。可是，請了幾位風水先生，竟都異口同聲的說：他父母浮厝的那塊地方，正好是一方寅葬卯發的血地，祇可浮葬，不能入土，因為一旦入土風水便將破壞無餘。尤其那一棵黃楊樹，更是杜氏子孫世代榮枯的根源，動也動不得。曾有人謂杜月笙為了迷信風水，於是任其父母靈柩繼續風吹雨打，他光前裕後的建立杜祠，盛況一時無兩，但卻始終不讓他的父母入土為安。其實這是錯責了他，以杜月笙這樣畢生講求孝悌忠信的至性中人，他既能大建祠堂，怎會迷信風水不謀父母安於窀穸。杜月笙之不獲遷葬父母，完全是由於親戚尊長的堅決反對，這也是舊時風俗使然。譬如說杜月笙唯一的尊親老娘舊朱陽聲先生，便曾極力以為不可，他的論據是父母死後靈柩萬萬不得移動，否則死者於九泉之下，必也不得安寧。
張太夫人不愧為女中健者，她挈同杜月笙還鄉，草草浮厝了文卿公的靈柩，旋不久又回到楊樹浦，撐門立戶，以一介荏弱的女流，繼續開設杜又卿遺留下的米店，謀求兩母子的噉飯。
光緒十九年，杜月笙六歲，張太夫人為他束髮受書，備下束修，進了一傢俬墊，墊師是一位瞿老太太，多年後她還記得起杜月笙這個孩子來，她對由她啟蒙的杜月笙，總是嫟愛而歡然的讚譽：
「月生小時候讀書，聰明是聰明格，就是相當的頑皮！」
這一年，三月，上海忽自西北來颱風，水雹隨之急降，大者如拳，小者如豆。猛一陣風雹，使得全上海的麥苗盡摧。
光緒二十年，甲午，朝鮮東學黨亂起，清廷追兵敉平，遂與日本開戰，而海陸兩路均敗，啟日人覬覦我國土之貪念。同年，孫中山先生創立興中會，於美國之檀香山，國民革命，於焉有所契機。
上海方面，平靜無事，人海中的一泓小小漪漣，張太夫人無法撐持楊樹浦那片小米店，被迫關門歇業，她帶著七歲的杜月笙回高橋。房子是有得住的，生活費用全無著落。她基於對月笙的一片愛心，咬緊牙關，也去幫人家洗衣服，賺幾文錢，還不移兩母子的伙食。
境遇是如此的困苦，張太夫人仍還殷殷的以杜月笙前途為念，她深知杜月笙天賦聰明，像他這樣的孩子應該好好讀書，她利用洗衣工資，節衣縮食，每月湊五角錢，送杜月笙到一傢俬塾讀書。一連讀了四個月，到第五個月開始必須繳費時，她實在拿不出錢來，她和杜月笙抱頭痛哭，杜月笙自此輟學。
光緒二十一年，杜月笙八歲，雖說是髻齡童子，但他八年之間失恃失怙又失卻了弱妹，幼小心靈實已飽經磨折，偏在這時他又受到更深鉅的刺激，張太夫人因為沒有人給她衣服洗，無法生活，竟然被迫脫離杜氏門庭，一去杳如黃鶴。
那年正月廿二日，戌時，上海大地震，房舍人畜，損失無算，秋季又有瘟疫盛行，患吐瀉症死者甚多，儼然是霍亂重演。
當時浦東一帶，盛行一種流氓地痞同流合污的組織，名曰：「蟻媒黨」，聲勢浩大，從者甚多。他們的行徑卑劣，等於人口販子，但凡見了蓬門弱質，青年寡婦，必定千方百計，威逼利誘，以墮其節，以遂其欲。或則逼她們改嫁字人，或則迫她們賣身青樓，種種罪惡，罄竹難書。因此上海士紳痛針協時弊，紛紛組織保節會以謀對抗，旌揚節婦，助以衣食之需，三林鄉、陳行鄉俱由上海邑紳秦榮光倡呼設立，唯高橋尚未納入範圍。而張太夫人究系怎樣墜入奸計，流落何方？以當時杜月笙年幼，始終無法查究。
繼母神秘失蹤，杜月笙不但乏人照料，而且連飯都沒有得吃。對面住的堂兄杜金龍，學徒出身，在上海做煙紙店生意，一年到頭，難得回家幾天。所謂煙紙店，是一種擺在馬路旁邊的錢幣兌換攤，因為上海五方雜處，幣值繁複，一兩銀子換多少制錢？幾千銅錢折幾塊鷹洋？零數湊整筆，整筆化零數，成為人們的日常需要，於是這一類小型兌換店應運而生，街頭巷尾，所在多有。業者整天守住攤子，換得的是蠅頭小利，養家活口都很困難。
堂兄常年不在家，堂嫂那邊常時缺米缺油，杜月笙不便在他們家就食。八歲的小孩全無生活能力，餓了些時；他只好哭哭啼啼，找上外婆家，外婆是他生母朱太夫人的母親，對這個孤苦伶仃、飢寒交迫的外孫，相當鍾愛。可是外家境況一樣的苦，一家大小；都靠杜月笙的老娘舅朱陽聲，做泥水匠渡日。多一口入吃飯，那怕是個小孩子，也形成了他們沉重的負擔。
江南有句俗諺：「冷粥冷飯好吃，冷言冷語難受！」站起來只有飯桌高的杜月笙已經懂得察言觀色，見機知趣。娘舅一家，除了老外婆，很少有人給他好臉色看，為了爭取老娘舅和舅母的好感，杜月笙整天沉默寡言，埋頭工作，一看到家裡有事，便自動的擄起袖子干。他去拾草、打柴、背那足足有他半人高的籮筐、柴夾；後園裡澆糞，種菜，幫外婆舅母煮飯，帶領小孩，替老娘舅跑街，採買。他以為咬緊牙關，拚命的做，可以得到舅父舅母的歡心，讓他在外家存得住身。沒想到舅父舅母照樣對他施以白眼，偶然犯了點小錯，不是厲聲叱罵，便是大巴掌，爆栗子，打得他暈頭轉向，鑿得他金星四迸。
上十歲的小孩子懂得什麼呢？辛勤努力全歸無效，討好賣乖無人置理，他幾乎對整個人世失望，他永遠沒法討人家歡喜，他是外家的累贅，厭嫌物，眼中釘。不管他每天要做多少事，娘舅舅母始終認定他是各吃閒飯的，拋不掉的包袱。過三年忍氣吞聲，淚灑心田得日子，壞運到又來了。光緒二十四年，杜月笙十一歲，浦東的農夫犁地，在爛泥巴裡掘出了黑米；於是謠諑紛紜，人心驚惶，說是又將有天災人禍降臨。果不其然，當年的五月二十，乎起大風，呼嘯過境時，傷損了無數稼穡。從此米價大漲，早晚行市不同，最貴的時候，每石漲到七千二百文，老娘舅自顧不暇，三餐不繼，對這個多餘的累贅，供應難免匱乏，杜月笙常時餓得頭昏眼花，坐在路邊曬太陽。出身寒微先世難考
中華民國二十年六月十日，籌建經年的「杜氏家祠」落成；時值杜月生笙先生四十四歲，事業絢爛之極，聲譽如日中天，以他個人的心情來說，「衣錦榮歸，躊躇滿志」，約略可以當之。
因為他出身一個小商人的家庭，三歲失恃，五歲失怙，八歲那年，愛他如同己出的繼母，以生活所迫，脫離杜氏門庭。杜月笙依食外祖母家，三餐不繼，衣履難周，更歷盡了人情寒暖，世態炎涼，誠所謂「寒日飲冰；點滴心頭」。十五歲時他想出外謀生，苦無資斧，腦筋動到祖傳的半幢破房子上，被他舅父飽打一頓，又受了姑丈的嚴詞呵責，他一怒而離開家鄉赤手空拳，渡江到上海求生存，打天下。外祖母送他到半途之中的八字橋，相對泣別，當時他淚眼望著高橋，立了個誓：
「來日我若不能榮宗耀祖，誓不言歸」
十九年後杜月笙「奉主入祠」，眾庶騰歡，百朋寵錫，盛況堪稱空前，時至今日，仍然有人津津樂道，許為民國開元以後，太平盛世的無上豪舉。今總統蔣公頒贈匾額，再賜祝詞，此外題贈匾額的還有三位退職總統暨執政，徐世昌、曹錕、段祺瑞；以及吳佩孚、章太炎、於右任、李烈鈞、張學良、張宗昌、馬福祥、班禪等，致翰章祝詞的有胡漢民、汪精衛、鄭孝胥、楊度、何成浚、谷正倫、楊傑、鄧錫侯等。全國各省各埠，均派代表專程致賀。在杜月笙與其家人之後列隊行進的親友，多達五六千人。上海市民，幾於空城而出，麇集街道兩側參觀。曾有人說，當時盛況，較諸倫敦英皇加冕，亦無遜色。
然而無可否認，杜月笙在這一派花團錦簇，雍容華貴之中，他的內心仍有幾許悲酸，一縷惆悵。除了回首當年的艱辛，他還有一腔憾恨；由於父母死得早，近支族人丁口單薄，杜月笙不但對他的先世茫無所知，甚至連他祖父的名諱也說不上來。
幸有一代樸學大師，古文泰斗章炳麟（太炎）先生，根據杜月笙兒時聽聞杜家是由浙江海寧遷來這一點，詳徵博引，考校杜氏世系，確定江南之杜，以山陰杜衍始著。章太炎先生為此特地寫了一篇「高橋杜氏祠堂記」，為傳誦一時的皇皇之作，同時也是為杜月笙寫傳記，最重要的一篇文獻
「杜之先出帝堯。夏時有劉累，及周封於杜，為杜伯。其子濕叔，違難於周，適晉而為范氏，范氏支子在秦者復為劉，以啟漢家。故杜也、范也、劉也，皆同出也。杜氏在漢也，有御史大夫周，始自南陽徙茂陵。自是至唐世為先望。其八皆祖御史大夫。惟在濮陽者祖七國時杜赫，自江以南無聞焉。宋世有祁國公衍實家山陰，江南之杜自是始著也。高橋者，上海浦東之鄉也。杜氏宅其地，蓋不知幾何世？其署郡曰京兆。末孫鏞自寒微起為任俠，以討妖寇，有安集上海功，江南北豪傑皆宗之。始就高橋祠堂祀其父祖以上，同堂異室之制，近世雖至尊猶然。故諸子庶不立別廟，獨為一堂，以昭穆敘群主，蓋通制然也。凡祠堂為址八畝，其壖地以詩設塾及圖書館，所以流世澤帥後昆也。余處上海，久與鏞習識。祠成而鏞請之為記。夫祠堂者，上以具歲時之享，下使子孫瞻焉，以捆致其室家者也。杜氏在漢唐，其為卿相在以十數，盛矣。上推至帝堯，又彌盛矣。雖然，自堯之盛，尚不能覆露其子，使襲大寶，其餘雖登公輔，賜湯沐之邑，曾微百年，後之人至不能指其先世裡居所在，此鏞所知也。為子孫者，豈不在於自振拔乎哉？和以處宗族，勤以長地材，福倍漢唐盛世可也。其兄弟不輯其居處，日偷禍倍，矜寡無告可也。抑聞之，古之訓言，保姓受氏，以守宗祊，世不絕祀，不可謂不朽。稱不朽者，惟立德立功立言，宜追視杜氏之先，立德莫如大司空林，立功莫如當陽侯預，立言莫如岐公佑，其取法非遠也。鏞既以討賊有功，其當益崇明德，為後世程法。然後課以道蓻，使其就文質，化為畔 ，以跂於古之立言者。有是三者，而濟以和宗族，勤地材，則於守其宗祊也何有。不然，昔之九望，奄然泯沒於今者七八矣。雖有丹楹之座，窮九州美味之饗，其足以傳嗣者幾何？吁，可畏也，乃記之云爾。」
章文中所稱的：「宋世有祁國公衍實家山陰，江南之杜自是始著也。」以及：「自堯之盛，尚不能覆露其子，使襲大寶，其餘雖登公輔，賜湯沐之邑，曾微百年，後之人至不能指其先世裡居所在，此鏞所知也。為子孫者，豈不在於自振拔乎哉？」其實，在「杜祠」落成前後，杜月笙對於纂修譜牒這一樁大事，始終念念不忘，曾經多方致力，民國十九年起，即已分刊告白，廣事徵集宗族資料。民國三十八年，猶請劉春甫先生代為編纂，可惜大功尚未告成，中共渡江，上海淪陷，杜月笙挈家人匆匆避港。這部未完成的族譜，隨劉先生陷於大陸，不久，聽說劉先生也做了古人。
但自杜月笙病逝香港，家人扶柩來台安厝，留居台灣的諸人，對杜月笙此一未竟之心願，仍在繼續徵集史料，考校參證。根據章太炎先生提示的線索，利用中央研究院等各大圖書館的史籍志書，關於高橋杜家的先世，總算找出來了些頭緒。
宋世有祁公衍實家山陰。章先生指的是宋朝祁國公杜衍，杜衍字世昌，大中祥符進士，歷知外郡，很有政聲。宋仁宗時任御史中丞，拜樞密使同平章事，可是他持正不阿，落落寡合，被朝中的小人排擠，只當了一百天的宰相，乃以太子少師告老致仕，封祁國公，卒謚文獻。他是有宋一代的名臣之一
山陰，浙江縣名，秦置，清代合山陰、會稽兩縣為紹興府，民國廢府改紹興縣。高橋杜家系自海寧遷來，海寧和紹興，祇隔一條錢塘江。
查遍弘治本上海縣志、同治本縣志、民國七年上海縣續志，於焉尋出杜氏先世的端倪。宋朝有杜可久，是祁國公杜衍的後代，做過青龍鎮直學，以文章行世，訓讀諸生，他在西霞浦住家，死後葬在「杜村」。
元朝，有杜元芳、杜英發兩兄弟，都是祁國公的九世孫。杜元芳字玉泉，當過德清縣主簿，晚年歸隱杜村，曾經造了一座翡翠碧雲樓，藏書萬卷，系當時上海的一處勝跡。他又建了一幢別墅在周浦，後來由他的侄孫堯夫居住，杜堯夫在周浦建了一座橋，初名堯夫橋，後改杜浦橋。自此，杜村杜浦，皆以杜氏族居而獲名。
他的弟弟杜英發，字俊卿，當過建寧路蒙古字學正，遷南京教授，歸隱西霞浦，號西霞道人。他為人慷慨尚義，各重一方。杜俊卿有一位叔叔無後，曾以莫姓子為螟蛉，嗣又由俊卿公承祧。叔父一死，杜俊卿悉付家產與莫姓義兄，並且廣置義田儲粟，資助鄰里婚喪各事。
杜元芳名希仲、希仲有子名隰，字宗原，明太祖洪武年間中詞科，拜太常贊禮卿，禮部給事中。朱洪武皇帝很喜歡他，告病回滬養病時期，一連兩次派人存問，他死時只有三十三歲，他的弟弟杜恆，存有詩集。
宋祁國公杜衍的後人，由南而北，遷到上海，起初都住在杜村。杜村原名周浦，後屬杜浦鎮，座落在上海縣城東南卅六里，屬十七保。至於月笙一支所住的浦東高橋，位於縣城東北卅六里處，隸高昌鄉二十二保，兩地直線距離，近在密邇，而且同屬浦東區域。
明朝，一位移居浦東的杜門遠祖中過進士，官拜尚書，那是杜士全，字道執，嘉靖戊午登科。他的弟弟杜士基，隆慶二十年進士，字慕明，官拜南京兵部郎中。
杜尚書很受上海人推重，他曾留下一則軼事：某年他回浦東掃墓，輕裝簡從，答報親友，只帶了一名老蒼頭，和兩三名小僮，並且吩咐報名帖時不許高聲。回家後老蒼頭說今天拜客扈從太少，恐怕有失禮制。當其時他說了一段入情入理的話：
「你們懂得什麼叫做禮制嗎？我親友三黨之中，貧苦的很多，他們居室湫隘，扈從去得多了，那來的廊廡安頓你們？於是主人必感局蹐，我也不得心安，只好匆匆告別，那才真是失了禮制呢！」
明代以後，杜氏族人中進士做官的，有杜宗彝，字孝若，陵州知州。杜獻璠，字公魯。杜時登、杜時勝、杜喬林，和他的兒子麟征。杜麟征的兒子甲春、同春，都是貢生，同春字子曠，做過黔江知縣。
杜家最後的一名舉人，是杜惠炘公，同治九年中科，字仲炎，號紫蓴，任過知縣，後來畢生從事教育工作。他死於光緒十八年，杜月笙已經出世了，他那年五歲。
至於，章文中所云：「其署郡曰京兆」，那是因為在漢朝的時候，南陽豪族杜周，舉家徙居茂陵（今陜西興平縣東北，屬京兆郡），從此，姓杜的人都稱「京兆郡」。
杜月笙自己曾說：杜家的祖籍確屬浙江海寧，其祖先經營絲繭行業，失敗後移居上海高橋，至於是從海寧原籍遷來，抑或系由上海某地遷徙，他以兒時偶然聽聞，記憶已不真切。不過，杜家在高橋的祖宅年代久遠，格局頗古，不像是近數十年新建的房屋，由此可知，杜家在上海高橋實已定居過相當一段時期。杜月笙所屬的這一支，和上列杜氏族人載諸志書典籍者，自屬有所關連。
詩詠祀事，典備蒸嘗，慎終追遠，民德歸厚。為使杜月笙先生獲慰於九泉之下，乃以所徵集之杜氏先世資料，姑予存記，列為「杜月笙傳」第一章，以備來日參考。