在享受友情之外，流放者還想幹一點自己想幹的事情。由於氣候和管理方面的原因，流放者也有不少空餘時間。有的地方，甚至處於一種放任自流的狀態。這就給了文化人一些微小的自我選擇的機會。
我，總要做一點別人不能替代的事情吧？總要有一些高於撿野菜、拾馬糞、燒石灰、燒炭的行為吧？想來想去，這種事情和行為，都與文化有關。因此，這也是一種回歸，不是地理意義上的而是文化意義上的回歸。
比較常見的是教書，例如，洪皓曾在曬乾的樺葉上默寫出《四書》，教村人子弟；張邵甚至在流放地開講《大易》，「聽者畢集」；函可作為一位佛學家利用一切機會傳授佛法。
其次是教耕作和商賈，例如，楊越就曾花不少力氣在流放地傳播南方的農耕技術，教當地人用「破木為屋」來代替原來的「掘地為屋」，又讓流放者用隨身帶的物品與當地土著交換漁牧產品，培養了初步的市場意識，同時又進行文化教育，幾乎是全方位地推動了這塊土地上文明的進步。
文化素養更高一點的流放者則把東北作為自己進行文化考察的對象，並把考察結果留諸文字，至今仍為地域文化研究者所鍾愛。例如，方拱乾所著《寧古塔志》，吳桭臣所著《寧古塔紀略》，張縉彥所著《寧古塔山水記》，楊賓所著《柳邊紀略》，英和所著《龍沙物產詠》，等等，這些著作具有很高的歷史學、地理學、風俗學、物產學等多方面的學術價值。
我們知道，中國古代的學術研究除了李時珍、徐霞客等少數例外，多數習慣於從書本來到書本去，缺少野外考察精神，致使我們的學術傳統至今還常缺乏實證意識。這些流放者卻在艱難困苦之中克服了這種弊端，寫下了中國學術史上讓人驚喜的一頁。
他們腳下的這塊土地給了他們那麼多無告的陌生，那麼多絕望的辛酸，但他們卻無意怨恨它，而用溫熱的手掌撫摸著它，讓它感受文明的熱量，使它進入文化的史冊。
在這方面，有幾個代代流放的南方家族所起的作用特別大。例如，清代浙江的呂留良家族，安徽的方拱乾、方孝標家族，浙江的楊越、楊賓父子等。近代國學大師章太炎先生在民國初年曾說到因遭文字獄而世代流放東北的呂留良（呂用晦）家族的貢獻：「後裔多以塾師、醫藥、商販為業。土人稱之曰老呂家，雖為台隸，求師者必於呂氏，諸犯官遣戍者，必履其庭，故土人不敢輕，其後裔亦未嘗自屈也。」「齊齊哈爾人知書，由呂用晦後裔謫戍者開之。」
說到方家，章太炎說：「初，開原、鐵嶺以外皆胡地也，無讀書識字者。寧古塔人知書，由孝標後裔謫戍者開之。」（《太炎文錄續編》）當代歷史學家認為，太炎先生的這種說法，史實可能有所誤，評價可能略嫌高，但肯定兩個家族在東北地區文教上的啟蒙之功，是完全不錯的。
一個家族世世代代流放下去，對這個家族來說是莫大的悲哀，但他們對東北的開發事業卻進行了一代接一代的連續性攻堅。他們是流放者，但他們實際上又成了老資格的「土著」。那麼他們的故鄉究竟在何處呢？面對這個問題，我在同情和惆悵中又包含著對勝利者的敬意，因為在文化意義上，他們是英勇的佔領者。