讓我們暫時回到蘋果或橘子。感官將相關信息傳遞到大腦，並將這些組件結合起來，於是我們對一個對像形成了知覺，這種說法很完美，但是這些組件是什麼？我們看到水果是橙色的和球形的。我們是否看到橙色就足夠了呢？這種顏色是否真的不需要加工？那麼球形呢？我們想要理解球形，就要理解空間的延展，並且要明白，雖然水果看起來像一個圓，但它實際上是一個球體。
康德引入思想範疇來理解我們的感官知覺（詳見第5章「有組織的心智」的內容）。根據康德的說法，感官知覺中沒有任何東西能告訴我們某物離我們很遠或就在附近，因為感官知覺本身就發生在我們自己身上。只有運用思想範疇，我們才能做出這些解釋。休謨認為因果關係並不真實；但是康德認為，雖然我們不能證明一種結果是由某種特定原因造成的，但在我們看來，因果關係是真實的。思想範疇以這種方式組織經驗，讓我們看到是因為一件事而導致另一件事出現。
被燒燬的書
法國哲學家克勞德·愛爾維修（Claude Helvetius，1715年—1771年）對詹姆斯·米爾產生了重要影響，他將這種影響帶給了自己的兒子約翰·斯圖爾特。愛爾維修是一個富有的稅吏，他與一名伯爵夫人結婚。愛爾維修認為心中的一切歸根結底都是經驗的邏輯結果，如果我們控制了某個人的經驗，我們就可以控制其思想發展。這一點對教育有著顯而易見的意義。如果我們能給人以完美的教育，我們就能創造出完美的人（這也有可能包括更險惡的用心）。1758年，愛爾維修的第一本書《思想隨筆》（Essays the Mind）激怒了巴黎索邦神學院的學者，導致該書被燒燬。
官能心理學
那個說休謨如果在日常生活中不依賴自己的感覺，最終會被關進瘋人院的人——托馬斯·裡德是最早的官能心理學的倡導者。官能心理學的主要觀點認為，心智包括許多方面或多種功能，它們被稱為官能，這些官能彼此之間相互作用。裡德確定了43種心理官能，包括理性、意識、同情、記憶、判斷力和道德等。康德也是一個官能心理學家，他提出了思想範疇的概念。
赫爾姆霍茲用無意識推理來解釋大腦是如何感知的。他認為，我們利用過去的經歷來瞭解自己看到的東西，一旦我們看到過足夠多的椅子，當我們看到一把新椅子時就能立刻認出這是一把椅子。我們在三維世界中觀察的經驗使我們認識到，橘子是一個球體而不是一個圓盤。他用變形眼鏡做實驗，並發現實驗對像們很快就適應了。赫爾姆霍茲的結論是，過去的經驗能讓人將感覺融入到知覺中。他是一名經驗主義者。這一觀點不同於康德，康德認為思想範疇是先天的，思想從出生開始就直接作用於感覺。赫爾姆霍茲認為，心智首先必須學會如何感知。現代理性主義心理學家支持康德關於大腦結構的觀點，大腦結構將會塑造我們的想法。經驗主義者支持的觀點與赫爾姆霍茲的觀點類似，認為心智依賴與感官體驗、學習和聯想的被動法則有關。他們會說，通過經驗，我們知道一個圓的物體有時是一個球體，有時是一個圓盤。對於一個不熟悉的物體，我們可以判斷出哪些是光影的細微影響，甚至根本就沒有注意到自己看到的是光影；但是對於一個熟悉的物體，我們過去的經驗告訴我們，橙子是球形的，而煎餅則是一個扁平的圓形。
感知和行動
我們的行為方式取決於我們如何感知這個世界（即我們的大腦如何建模），而不是取決於世界實際的樣子。格式塔心理學家庫爾特·考夫卡區分了地理環境（我們周圍的物理世界）和行為環境（我們對世界的主觀解釋）。他講述了一個古老的德國故事來說明這一點：
一個男人騎著馬，穿越自認為是白雪皚皚的平原。當他在旅途結束後和其他人交談時，他才知道自己實際上騎馬穿過的是一個結冰的湖，並且隨時都可能會坍塌。當他意識到自己曾經處於危險時，這個可憐的人因震驚而死去。
與其說這個男人的行為符合環境，倒不如說是他相信了環境的真實性。如果他知道自己將會騎著馬走在冰面上的事實，他就不會走那條路了。他後來倒下死亡的行為是將其對危險的感知變成了行為。在他知道了自己行為發生的真實環境後，他做了自己本來會做的事。感知就是一切。