神經網絡在21世紀中葉迎來了又一次重大進展。2005年，傑夫·辛頓在多倫多大學任教，此前不久，他一直在英國倫敦大學學院工作，在那裡建立了蓋茨比計算神經科學組。這時，人們已經清楚地認識到，互聯網能夠生成大量數據集，這在10年前是想都不敢想的。如果說以前的研究人員面臨的問題是沒有足夠的數據來對系統進行適當的訓練，那麼互聯網的興起則大大改善了這一狀況。如今，據國際數據公司等研究公司估測，目前網上在線數據量約為4.4澤字節[1]。記者史蒂夫·洛爾（Steve Lohr）在其所著的極為有趣的《數據論》一書中指出，如果能將這些數據輸入iPad Air（蘋果超薄平板電腦）中，那麼產生的堆棧將能夠覆蓋地球到月球距離的2/3。
然而，就像地球雖然有大量的水，但並不是所有水都可以喝一樣，這些數據中好多都是未標記的。當數據集較小時，研究人員可以將主要精力放在正確標記所有數據上，這對訓練系統來說更加有用。然而，隨著數據量的增加，研究人員就無法再這樣做。例如，2013年3月，網絡相冊Flickr共有8 700萬註冊用戶，他們每天上傳超過350萬張新圖片。從理論上看，這對那些想要建造一個能夠識別圖片的神經網絡的人們來說是一個天大的好消息，但同樣也提出了挑戰。正如我們所看到的，訓練神經網絡最簡單的方法就是向其展示大量圖片，然後指出每張圖片都是什麼。通過標記圖片，訓練員既提供了輸入（圖片），又提供了輸出（描述）。神經網絡就可以反向傳播，以糾正錯誤。這就是我們所瞭解的「監督式學習」。但是，流通中還有許多未標記或沒有正確標記的圖片，計算機如何對其進行識別呢？
幸運的是，傑夫·辛頓掀起了一場「非監督式學習」的革命，這種學習方式無須向計算機提供任何標記。機器能夠訪問的只有輸入，無須解釋它看到的是什麼。首先，這聽起來像是機器無法通過這種方式學習。如果沒有得到明確的解釋，即使是最智能的神經網絡也不會知道某物到底是什麼。實際上，辛頓發現的是「非監督式學習」可以用來訓練上層特徵，而且每次只能訓練一層。這一發現成為「深度學習」的催化劑，而「深度學習」就是當前人工智能最炙手可熱的領域。
我們可以將深度學習網絡想像成工廠的一條生產線。輸入原材料後，它們將隨著傳送帶向下傳遞，後續的各個站點或層會分別提取不同的高級特性。為了繼續完成一個圖像識別網絡的案例，第一層將用來分析像素亮度。下一層將根據相似像素的輪廓來確定圖中存在的所有邊界。之後，第三層將用來識別質地和形狀等。到達第四層或第五層時，深度學習網絡已經創建了複雜特性檢測器。這時，它就能夠瞭解4個輪子、擋風玻璃和排氣管通常是同時出現的，眼睛、鼻子和嘴也是同時出現的。它不知道的僅僅是汽車和人臉都是什麼樣的。深度學習網絡能夠識別的許多特性可能都和手頭的任務無關，但是其中有一些特性卻是和手頭任務高度相關的。
辛頓解釋道：「訓練這些特性檢測器時，每次訓練一層，這一層都試圖在下面一層找到結構模式。之後，就可以在頂部貼上標籤並使用反向傳播來進行微調。」結果深深震撼了人工智能界。辛頓回憶道：「其中涉及一些數學問題，這總會給人們留下深刻的印象。」
有關深度學習的消息迅速傳開。辛頓實驗室的兩名成員喬治·達爾（George Dahl）和阿卜杜勒–拉赫曼·穆罕默德（Abdel-rahman Mohamed）迅速論證了該系統不僅能夠進行圖像識別，還能夠進行語音識別。2009年，倆人將其新創建的語音識別神經網絡與已經使用了30多年的行業標準工具放到一起一較高下，結果是，深度學習網絡獲得了勝利。這時，谷歌邀請辛頓的一位博士生納瓦迪普·傑特列（Navdeep Jaitly）修補谷歌的語音識別算法。看了一眼之後，他建議用深度神經網絡取代整個系統。儘管一開始持懷疑態度，但傑特列的老闆最終同意讓他嘗試一下。事實證明，新的程序比谷歌精心調試數年的系統表現還要出色。2012年，谷歌將深度學習語音識別程序嵌入安卓移動平台，錯誤率與之前相比立刻下降了25%。
那年夏天，辛頓終於收到了谷歌的電話。這個搜索巨頭邀請他夏天到位於加利福尼亞州山景城的校園工作。儘管辛頓當時已經64歲了，谷歌卻將他定為「實習生」，因為員工必須嚴格服從公司政策，即必須在公司工作好幾個月之後才能被授予「訪問科學家」的頭銜。儘管如此，辛頓仍然加入了由20歲出頭的年輕人組成的實習生組。他甚至還戴上了新實習生們專用的上面帶有螺旋槳圖案的帽子，被稱作「新谷歌人」（Nooglers）。辛頓說：「我一定是史上最老的實習生。」當時，他開玩笑似的表示，那些並不知道他是誰的年輕同事肯定是把他當作「老笨蛋」了。
辛頓在谷歌的工作涉及為其他潛在的應用提出有關深度學習的建議。那年夏天的工作進展得十分順利，第二年，谷歌正式聘用了辛頓。除他之外，谷歌還聘請了他的兩名研究生，辛頓和這兩名研究生共同創建了一家名為「DNNresearch」的公司。辛頓在一篇聲明中寫道：「我會繼續在多倫多大學兼職任教，在那裡我還有很多出色的研究生，但是在谷歌我能夠看到我們如何處理超大型計算。」
在神經網絡領域孤獨地耕耘了30年後，傑夫·辛頓最終在世界最大的人工智能公司發揮了重要作用。