Nature重磅：Hinton、LeCun、Bengio三巨頭權(quán)威科普深度學(xué)習(xí)

　　將遞歸神經(jīng)網(wǎng)絡(luò)(RNN)生成的標(biāo)題作為額外輸入，深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)會從測試圖片中提取表征，再利用訓(xùn)練好的RNN將圖像中高級( high-level )表征「翻譯成 」標(biāo)題(上圖)。當(dāng)RNN一邊生成單詞(黑體所示)，一邊能將注意力集中在輸入圖像的不同位置(中間和底部;塊狀越亮，給予的注意力越多)的時(shí)候，我們發(fā)現(xiàn)，它能更好地將圖像「翻譯成」標(biāo)題。

　　當(dāng)前的卷積神經(jīng)網(wǎng)絡(luò)由10~20層ReLUs，數(shù)百萬個(gè)權(quán)值及數(shù)十億個(gè)連接組成。兩年前，訓(xùn)練如此龐大的網(wǎng)絡(luò)可能需要數(shù)周時(shí)間，而隨著硬件、軟件和算法并行化(algorithm parallelization)的進(jìn)步，訓(xùn)練時(shí)間已經(jīng)縮短至幾個(gè)小時(shí)。

　　卷積神經(jīng)網(wǎng)絡(luò)的視覺系統(tǒng)良好表現(xiàn)促使包括谷歌、Facebook、微軟、IBM、雅虎、推特和Adobe在內(nèi)的多數(shù)主要科技公司以及數(shù)量激增的創(chuàng)業(yè)公司開始啟動研發(fā)項(xiàng)目，部署基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識別產(chǎn)品和服務(wù)。

　　卷積神經(jīng)網(wǎng)絡(luò)易于在芯片或現(xiàn)場可編程門列陣(FPGA)中得以高效實(shí)現(xiàn)。為了實(shí)現(xiàn)智能手機(jī)、相機(jī)、機(jī)器人和無人駕駛汽車上的實(shí)時(shí)視覺應(yīng)用，NVIDIA、Mobileye、因特爾、高通和三星等許多公司都正在開發(fā)卷積神經(jīng)網(wǎng)絡(luò)芯片。

　　分布式表征和語言處理

　　深度學(xué)習(xí)理論顯示，與不適用分布式表征的經(jīng)典學(xué)習(xí)算法相比，深度網(wǎng)絡(luò)有兩處異常明顯的優(yōu)勢。這些優(yōu)勢源于節(jié)點(diǎn)權(quán)重(the power of composition)以及底層數(shù)據(jù)生成分布具有適當(dāng)?shù)慕M成結(jié)構(gòu)。第一，學(xué)習(xí)分布式表征能夠?qū)⑼ㄟ^訓(xùn)練而學(xué)習(xí)獲得的特性值泛化為新的組合(例如，n元特征有2n 組合可能)。第二，深度網(wǎng)絡(luò)中的表征層相互組合帶來了另一個(gè)指數(shù)級優(yōu)勢的潛力(指數(shù)性的深度)。

　　多層神經(jīng)網(wǎng)絡(luò)的隱藏層學(xué)會以一種易于預(yù)測目標(biāo)輸出的方式來再現(xiàn)網(wǎng)絡(luò)輸入。一個(gè)很好的示范就是訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)根據(jù)局部文本中的前述語句預(yù)測下一個(gè)詞。文本的每個(gè)詞表示成網(wǎng)絡(luò)中的N分之一向量，也就是說，每個(gè)成分的值為1，余下的為0。在第一層中，每個(gè)字創(chuàng)建一個(gè)不同模式的激活或單詞向量(如圖4所示)。在語言模型中，網(wǎng)絡(luò)中的其他層學(xué)習(xí)如何將輸入的單詞向量轉(zhuǎn)化成輸出單詞向量來預(yù)測下一個(gè)單詞，也能用來預(yù)測詞匯表中單詞作為文本中下一個(gè)單詞出現(xiàn)的概率。正如學(xué)習(xí)分布表征符號文本最初展示的那樣，網(wǎng)絡(luò)學(xué)習(xí)了包含許多激活節(jié)點(diǎn)(active components )、且每一個(gè)節(jié)點(diǎn)都可被解釋成一個(gè)單詞獨(dú)立特征的單詞向量。這些語義學(xué)特征并沒有在輸入時(shí)被清晰表現(xiàn)出來。而是在學(xué)習(xí)過程中被發(fā)現(xiàn)的，并被作為將輸入與輸出符號結(jié)構(gòu)化關(guān)系分解為微規(guī)則(micro-rules)的好方法。當(dāng)詞序列來自一個(gè)大的真實(shí)文本語料庫，單個(gè)微規(guī)則并不可靠時(shí)，學(xué)習(xí)單詞向量也一樣表現(xiàn)良好。當(dāng)網(wǎng)絡(luò)被訓(xùn)練用于預(yù)測新文本中的下一個(gè)詞時(shí)，一些單詞向量非常相似，比如Tuesday和Wednesday，Sweden和Norway 。這種表征被稱為分布式表征，因?yàn)樗鼈兊脑?特性)并非相互排斥，且它們構(gòu)造信息與觀測到的數(shù)據(jù)變化相對應(yīng)。這些單詞向量由所習(xí)得的特性組成，這些特性并非由科學(xué)家們事先決定而是由神經(jīng)網(wǎng)絡(luò)自動發(fā)現(xiàn)?，F(xiàn)在，從文本中習(xí)得的單詞向量表征被非常廣泛地使用于自然語言應(yīng)用。

　　表征問題是邏輯啟發(fā)與神經(jīng)網(wǎng)絡(luò)啟發(fā)認(rèn)知范式爭論的核心問題。在邏輯啟發(fā)范式中，一個(gè)符號實(shí)體表示某一事物，因?yàn)槠湮ㄒ坏膶傩耘c其他符號實(shí)體相同或者不同。它并不包含與使用相關(guān)的內(nèi)部結(jié)構(gòu)，而且為理解符號含義，就必須與審慎選取的推理規(guī)則的變化相聯(lián)系。相比之下，神經(jīng)網(wǎng)絡(luò)使用大量活動載體( big activity vectors)、權(quán)重矩陣和標(biāo)量非線性，實(shí)現(xiàn)一種快速「直覺 」推斷，它是輕松常識推理的基礎(chǔ)。

　　在介紹神經(jīng)語言模型前，語言統(tǒng)計(jì)模型的標(biāo)準(zhǔn)方法并沒有使用分布式表征：它是基于計(jì)算短符號序列長度N(稱為N-grams，N元文法)出現(xiàn)的頻率。N-grams可能出現(xiàn)的次數(shù)與VN一致，這里的V指的是詞匯量的大小，考慮到詞匯量大的文本，因此需要更龐大的一個(gè)語料庫。N-grams把每一個(gè)詞作為一個(gè)原子單位，因此它不能在語義緊密相關(guān)的單詞序列中，一概而論，但是，神經(jīng)語言模型可以實(shí)現(xiàn)上述功能，因?yàn)樗鼈儗⒚總€(gè)單詞與真實(shí)特征值的向量關(guān)聯(lián)起來，并且語義相關(guān)的單詞在該向量空間中更為貼近。

　　圖4|已完成學(xué)習(xí)的單詞向量的可視化展現(xiàn)

　　左邊介紹了為了建模語言而習(xí)得的詞匯表征，通過使用 t-SNE算法[103]非線性映射至二維空間中以便于觀察。右邊是一個(gè)由實(shí)現(xiàn)英-法互翻的遞歸神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)短語的二維空間表示。由圖可知，語義或排序相似的單詞表征映射較為接近 。詞匯的分布式表征通過使用反向傳播獲得，以此來學(xué)習(xí)每個(gè)單詞的表征形式及預(yù)測目標(biāo)數(shù)量的功能，比如序列中的后續(xù)單詞(如語言建模)或者翻譯文字的全部序列(機(jī)器翻譯)。

　　遞歸神經(jīng)網(wǎng)絡(luò)

　　最初引入反向傳播時(shí)，最令人激動的應(yīng)用便是訓(xùn)練遞歸神經(jīng)網(wǎng)絡(luò)(簡稱RNNs)。對于那些需要序列連續(xù)輸入的任務(wù)(比如，語音和語言)，RNNs是上乘之選(圖5)。RNNs一次處理一個(gè)輸入序列元素，同時(shí)維護(hù)隱式單元中隱含著該序列過去所有元素的歷史信息的「狀態(tài)向量」。當(dāng)我們考慮隱式單元在不同的離散時(shí)間步長的輸出，就好像它們是在多層網(wǎng)絡(luò)深處的不同神經(jīng)元的輸出(圖五，右)如何利用反向傳播訓(xùn)練RNNs，一目了然。

　　RNNs是非常強(qiáng)大的動力系統(tǒng)，但訓(xùn)練它們也被證實(shí)存在一些問題，因?yàn)榉聪騻鞑ヌ荻仍诿總€(gè)時(shí)間間隔內(nèi)或增長或下降，因此，一段時(shí)間之后通常會導(dǎo)致結(jié)果激增或者降為零。

　　因先進(jìn)的架構(gòu)和訓(xùn)練的方式，RNNs不僅被證實(shí)擅長預(yù)測文本中下一個(gè)字符或句子中下一個(gè)單詞，還可應(yīng)用于更加復(fù)雜的任務(wù)。例如，某時(shí)刻閱讀英文句子中的單詞后，一個(gè)英語的「編碼器」網(wǎng)絡(luò)將被生成，從而幫助隱式單元的最終狀態(tài)向量很好地表征句子所傳達(dá)的思想。這種「思想向量(thought vector)」可以作為一個(gè)集大成的法語「編碼器」網(wǎng)絡(luò)的初始化隱式狀態(tài)(或額外的輸入)，其輸出為法語翻譯首單詞的概率分布。如果從概率分布中選擇一個(gè)特定首單詞作為編碼網(wǎng)絡(luò)的輸入，將會輸出翻譯句子中第二個(gè)單詞的概率分布，依此類推，直到停止選擇為止?？傮w而言，這一過程是根據(jù)英語句子的概率分布而生成的法語單詞序列。這種近乎直接的機(jī)器翻譯方法的表現(xiàn)很快和最先進(jìn)(state-of-the-art)的方法不相上下，同時(shí)引發(fā)人們對于理解句子是否需要使用推理發(fā)掘內(nèi)部符號表示質(zhì)疑。這與日常推理中涉及到根據(jù)合理結(jié)論類推的觀點(diǎn)是匹配的。

　　除了將法語句子翻譯成英語句子，還可以學(xué)習(xí)將圖片內(nèi)容「翻譯」為英語句子(如圖3)。編碼器是一種在最后隱層將像素轉(zhuǎn)換為活動向量的深度卷積網(wǎng)絡(luò)。解碼器是一種類似機(jī)器翻譯和神經(jīng)網(wǎng)絡(luò)語言模型的遞歸神經(jīng)網(wǎng)絡(luò)。近年來，引發(fā)了人們對深度學(xué)習(xí)該領(lǐng)域的熱議。RNNs一旦展開(如圖5)，可被視作是所有層共享同樣權(quán)值的深度前饋神經(jīng)網(wǎng)絡(luò)。雖然它們的主要目的是長期學(xué)習(xí)的依賴性，但有關(guān)理論和經(jīng)驗(yàn)的例證表明很難學(xué)習(xí)并長期儲存信息。

　　為了解決這一問題，一個(gè)擴(kuò)展網(wǎng)絡(luò)存儲的想法出現(xiàn)。第一種方案是采用了特殊隱式單元的LSTM，該自然行為便是長期的保存輸入。一種類似累加器和門控神經(jīng)元的稱作記憶細(xì)胞的特殊單元：它通過在下一個(gè)時(shí)間步長擁有一個(gè)權(quán)值并聯(lián)接到自身，從而拷貝自身狀態(tài)的真實(shí)值和累積外部信號，但這種自聯(lián)接是另一個(gè)學(xué)習(xí)并決定何時(shí)清除記憶內(nèi)容的單元的乘法門所操控。

　　LSTM網(wǎng)絡(luò)最終被證明比傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)更為有效，尤其是，每一個(gè)時(shí)間步長內(nèi)有若干層時(shí)，整個(gè)語音識別系統(tǒng)能夠完全一致地將聲學(xué)轉(zhuǎn)錄為字符序列。目前，LSTM網(wǎng)絡(luò)及其相關(guān)形式的門控單元同樣也用于編碼與解碼網(wǎng)絡(luò)，并在機(jī)器翻譯中表現(xiàn)良好。

　　過去幾年里，幾位學(xué)者提出一些不同的方案來增強(qiáng)RNNs存儲器模塊。這些建議包括，神經(jīng)圖靈機(jī)——通過加入RNNs可讀可寫的“類似磁帶”的存儲來增強(qiáng)網(wǎng)絡(luò)，而記憶網(wǎng)絡(luò)中的常規(guī)網(wǎng)絡(luò)通過聯(lián)想記憶來增強(qiáng)。記憶網(wǎng)絡(luò)在標(biāo)準(zhǔn)的問答基準(zhǔn)測試中表現(xiàn)良好，記憶是用來記住稍后要求回答問題的事例。

　　除了簡單記憶化、神經(jīng)圖靈機(jī)和記憶網(wǎng)絡(luò)被用于通常需要推理和符號操作的任務(wù)以外，還可以教神經(jīng)圖靈機(jī)「算法」。除此以外，他們可以從未排序的輸入符號序列(其中每個(gè)符號都有與其在列表中對應(yīng)的表明優(yōu)先級的真實(shí)值)中，學(xué)習(xí)輸出一個(gè)排序的符號序列?？梢杂?xùn)練記憶網(wǎng)絡(luò)用來追蹤一個(gè)設(shè)定與文字冒險(xiǎn)游戲和故事的世界的狀態(tài)，回答一些需要復(fù)雜推理的問題。在一個(gè)測試?yán)又?，網(wǎng)絡(luò)能夠正確回答15句版的《指環(huán)王》中諸如「Frodo現(xiàn)在在哪?」的問題。

　　圖5 |一個(gè)遞歸神經(jīng)網(wǎng)絡(luò)在時(shí)間中展開的計(jì)算和涉及的相關(guān)計(jì)算

　　人工神經(jīng)元(例如，隱式樣單元分組節(jié)點(diǎn)在時(shí)間t的標(biāo)準(zhǔn)值下)獲得其他神經(jīng)元的輸入——在之前的步驟中(黑色區(qū)域呈現(xiàn)，代表一步延遲，如左)。這樣，一個(gè)遞歸神經(jīng)網(wǎng)絡(luò)可由xt的輸入序列元素，映射到一個(gè)輸出序列與元素ot，每次ot值取決于所有前面的xt?(t?≤t)。相同的參數(shù)(U,V矩陣W)在每步中使用。許多其他結(jié)構(gòu)是可行的，包括一個(gè)變體的網(wǎng)絡(luò)可以生成的輸出序列(例如，詞語)，每一個(gè)都作為下次的輸入步驟。反向傳播算法(圖1)可以直接應(yīng)用于計(jì)算機(jī)圖形展開網(wǎng)絡(luò)，并對所有的標(biāo)準(zhǔn)陳述和參數(shù)，計(jì)算其總誤差的導(dǎo)數(shù)(例如，生成正確的輸出序列的對數(shù)概率)。

　　深度學(xué)習(xí)的未來

　　無監(jiān)督學(xué)習(xí)促進(jìn)了人們重燃對深度學(xué)習(xí)的興趣，但是，有監(jiān)督學(xué)習(xí)的成功蓋過了無監(jiān)督學(xué)習(xí)。雖然我們沒有關(guān)注這方面的評論，但是，從長遠(yuǎn)來看，我們還是期望無監(jiān)督學(xué)習(xí)能夠變得更加重要。(因?yàn)?人類和動物的學(xué)習(xí)方式大多為無監(jiān)督學(xué)習(xí)：我們通過觀察世界來發(fā)現(xiàn)它的結(jié)果，而不是被告知每個(gè)對象的名稱。

　　人類視覺是一個(gè)智能的、基于特定方式的利用小或大分辨率的視網(wǎng)膜中央窩與周圍環(huán)繞區(qū)域?qū)饩€采集成像的活躍的過程。我們希望機(jī)器視覺能夠在未來獲得巨大進(jìn)步，這些進(jìn)步來自于那些端對端的訓(xùn)練系統(tǒng)，并集合卷積神經(jīng)網(wǎng)絡(luò)(ConvNets)和遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)，利用強(qiáng)化學(xué)習(xí)來決定走向。結(jié)合了深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的系統(tǒng)尚處在嬰兒期，但是，在分類任務(wù)上，它們已經(jīng)超越了被動視覺系統(tǒng)，并在嘗試學(xué)習(xí)操作視頻游戲方面，產(chǎn)生了令人印象深刻的結(jié)果。

　　未來幾年，理解自然語言會是深度學(xué)習(xí)產(chǎn)生巨大影響的另一個(gè)領(lǐng)域。我們預(yù)測，當(dāng)它們學(xué)習(xí)了某時(shí)刻選擇性地加入某部分的策略，那些使用遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)的系統(tǒng)將會更好地理解句子或整個(gè)文檔。

　　最終，人工智能的重大進(jìn)步將來自將表征學(xué)習(xí)與復(fù)雜推理結(jié)合起來的系統(tǒng)。盡管深度學(xué)習(xí)和簡單推理已經(jīng)用于語音和手寫識別很長一段時(shí)間了，我們?nèi)孕枰ㄟ^大量向量操作的新范式替換基于規(guī)則的字符表達(dá)操作。