隨便找個人問他童年的記憶，每個人都能說出一堆這樣的故事：
我鄰居的爸爸在我四歲的時候死了。我記得我和我朋友坐在他家門前，看著人們走來走去。很奇怪，誰都沒有說話。
記憶與關於記憶的記憶很難區分。實際上，沒什麼證據表明我們的任何成年記憶可以真的追溯到嬰兒時期，那些看起來像早期記憶的內容有可能只是我們對舊思維的重構而已。因為一方面，我們最初五年的記憶似乎以一種奇怪的方式完全孤立；如果我們問前些天發生了什麼，得到的答案幾乎總是「我不記得了」。另一方面，那些早期記憶所涉及的事件意義非常重大，因此很可能在幾年之內不斷重複地佔據孩子的思維。最值得懷疑的是，這種記憶常常被描述得好像是從其他年長的人眼中看到的一樣，描述者被刻畫在場景之中，就在舞台中央附近。因為我們從來不會真的看到自己，這些記憶一定是重構出來的，從嬰兒時期就在排練和重新構想。
我懷疑這種「嬰兒健忘症」不僅僅是隨著時間的流逝而消退，而且是嬰兒期結束時不可避免的結果。記憶不是孤立的事物，和它在思維中的運作方式脫不了關係。要記住早期的經驗，你必須不僅能「提取」一些舊的記錄，而且要重構早期思維如何對其做出反應。要做到這一點，你必須重新回到嬰兒的狀態。要想長大結束嬰兒期，你只能犧牲記憶，因為它們是用古老的文字寫就，你之後的自我已經無法再看懂了。
我們也會重構最近的記憶，因為它們描述我們看到的東西沒有我們再認的東西多。從一刻到下一刻，你的思維狀態不僅是由外部世界的信號塑造的，對其產生影響的還有受到這些信號喚起的記憶所激活的智能體。舉例而言，當你看到一把椅子的時候，是什麼讓它看起來是一把椅子，而不是混合在一起的一堆木棍和木板呢？它一定喚起了一些記憶。你只有一部分記憶來自你所看到的東西激活的智能體，大部分高水平智能組的體驗來自那些視覺智能體所激活的記憶。通常，我們對發生的這些事沒有意識，而且當我們迅速、安靜地加工信息時不會使用像「記憶」或「記得」這種詞，而是會使用「看見」「認出」或「知道」這種詞。這是因為這些程序沒有給思維的其餘部分留下很多線索可以凝思。相應地，這些程序是無意識的，因為意識需要有短時記憶。只有在再認時，有大量的時間和精力，我們才會說「記得」。
那麼我們所說的「記憶」又是什麼意思呢？我們的大腦會使用很多不同的方式來儲存過去的印記。沒有一個單獨的詞彙可以描述這麼多內容，除非它只是用來描述一般的信息。
記憶是一種程序，它讓我們的一些智能體按照以前在不同的時間行動的方式再次行動。