“深度學(xué)習(xí)”：人工神經(jīng)回路大顯威力

人稱“深度學(xué)習(xí)”的人工智能技術(shù)如今備受關(guān)注。為了大幅提升圖像、語音的識別精度，美國谷歌等公司正在進(jìn)行研究。這項技術(shù)還有望在經(jīng)濟(jì)動向預(yù)測、新藥開發(fā)等領(lǐng)域發(fā)揮威力。

最近1～2年，有一項技術(shù)受到了全世界人工智能研究人員的密切關(guān)注。這種新方法名叫“深度學(xué)習(xí)”，是一種讓計算機(jī)像人類一樣根據(jù)經(jīng)驗采取行動的機(jī)器學(xué)習(xí)方式。

支撐互聯(lián)網(wǎng)社會的圖像識別和語音識別、有助于新藥開發(fā)的化合物活性預(yù)測——在此類技術(shù)角逐精度的大賽上，深度學(xué)習(xí)大幅改寫過去的紀(jì)錄，一次又一次贏得了勝利。

“真不相信精度能得到如此飛躍”，“結(jié)果太震撼了”。專家的驚嘆之聲不絕于耳。

深度學(xué)習(xí)是由在計算機(jī)上模擬人類神經(jīng)回路的“神經(jīng)元網(wǎng)絡(luò)”技術(shù)發(fā)展而來。



人腦在根據(jù)圖像判斷圖上物品的種類、根據(jù)手頭信息預(yù)測未來上面擁有優(yōu)秀的能力。

神經(jīng)元網(wǎng)絡(luò)是在計算機(jī)上把虛擬的神經(jīng)元排列成層狀，模擬真正的神經(jīng)細(xì)胞之間的電信號。借此實現(xiàn)大腦從各式各樣的數(shù)據(jù)中提取本質(zhì)概念的功能。

深度學(xué)習(xí)的目的是把神經(jīng)元“深化”到4層、5層，實現(xiàn)接近于大腦的性能。

神經(jīng)元網(wǎng)絡(luò)研究的歷史悠久，可以追溯到1950年代。但是，由于增加神經(jīng)元的層數(shù)后，會出現(xiàn)性能降低等問題，因此，研究一直處于興盛與衰退的反復(fù)交替過程。

然而，到了2000年代中期，美國的研究人員開發(fā)出了攻克這一課題的計算技術(shù)。再加上能夠處理大數(shù)據(jù)的計算機(jī)的進(jìn)步，深度學(xué)習(xí)的研究拉開了序幕。

2012年6月，美國谷歌與美國斯坦福大學(xué)合作發(fā)表的成果成為了讓世界了解深度學(xué)習(xí)威力的開端。

谷歌把取自視頻網(wǎng)站“YouTube”的大量圖像輸入到了神經(jīng)元網(wǎng)絡(luò)之中。結(jié)果，在沒有教授任何知識的情況下，計算機(jī)自然產(chǎn)生了“貓”的概念。

識別精度提高7成

谷歌的研究員杰夫·迪恩（Jeff Dean）解釋說：“我們的研究就像是給剛出生的嬰兒看大量的YouTube圖像。”下面，筆者就以該公司的研究為例，解釋一下深度學(xué)習(xí)的原理。

谷歌在計算機(jī)上制作了深達(dá)9層的神經(jīng)元。第1層是“輸入層”，第2～8層是“隱藏層”，第9層是“輸出層”。

輸入層的神經(jīng)元從輸入圖像上讀取各像素的值，把信號傳導(dǎo)至第2層的各個神經(jīng)元。第2層的神經(jīng)元根據(jù)某種規(guī)則，對第1層傳導(dǎo)來的信號進(jìn)行轉(zhuǎn)換，然后輸出到第3層。在第3層到輸出層之間，輸出信號按照同樣的步驟，逐層向下傳遞。

重點(diǎn)是在輸入每一幅圖像時，各神經(jīng)元的連接方式都會發(fā)生細(xì)微的改變。向神經(jīng)元網(wǎng)絡(luò)輸入圖像后，各神經(jīng)元在接收信號，進(jìn)行轉(zhuǎn)換之時，相關(guān)的參數(shù)將得到調(diào)整，使整體的信號傳導(dǎo)方式發(fā)生改變。也就是網(wǎng)絡(luò)慢慢得到“訓(xùn)練”。

在谷歌的研究之中，參數(shù)約為10億個，數(shù)量相當(dāng)龐大。該公司向如此巨大的網(wǎng)絡(luò)輸入了從1000萬個YouTube視頻中截取的圖像。通過1.6萬個CPU（中央運(yùn)算處理裝置）并用的大規(guī)模計算，耗費(fèi)1周時間實施了訓(xùn)練。

訓(xùn)練結(jié)束后，神經(jīng)元網(wǎng)絡(luò)的內(nèi)部形成了不可思議的構(gòu)造。各神經(jīng)元會分別對不同的特定種類輸入信號做出特別強(qiáng)烈的反應(yīng)（放電）。

這與人腦內(nèi)的神經(jīng)細(xì)胞對人的相貌、物體等特定物體和概念做出反應(yīng)并放電的原理相同。也就是說，人通過學(xué)習(xí)和經(jīng)驗形成的神經(jīng)回路構(gòu)造在計算機(jī)中得到了重現(xiàn)。

各神經(jīng)元識別的對象因?qū)拥纳疃榷悺？拷斎雽拥牡?層的神經(jīng)元對圖像中的邊緣、彎曲等單純的形狀和概念做出反應(yīng)。隨著向第3層、第4層的不斷深入，神經(jīng)元捕捉的概念將愈發(fā)高深、抽象。在輸入動物面部的圖像時，這些層負(fù)責(zé)識別眼睛、耳朵等構(gòu)造，以及面部整體。

根據(jù)谷歌的研究，位于最后的輸出層的1個神經(jīng)元已經(jīng)可以自然地識別出貓臉。在看到包含貓臉的圖像后，這個神經(jīng)元的反應(yīng)最為強(qiáng)烈。

在美國谷歌的研究中，讓識別貓的神經(jīng)元做出了最強(qiáng)反應(yīng)的貓的頭像

當(dāng)然，可以識別的并不只是貓。人、汽車、長頸鹿等各種事物都可以進(jìn)行識別。包括人類難以區(qū)分的鰩和蝠鲼在內(nèi)，在對大約2萬個種類進(jìn)行識別精度調(diào)查后，結(jié)果顯示，識別率達(dá)到了16％，比過去的最高紀(jì)錄高出了約7成。

谷歌已經(jīng)把深度學(xué)習(xí)的技術(shù)運(yùn)用到了該公司的語音識別服務(wù)之中。今后還考慮在圖像識別和視頻搜索等用途投入實用。谷歌的迪恩充滿期待地表示，“計算機(jī)與人類的新式人機(jī)對話將成為可能”。

超越人類的未來預(yù)測

人腦包含著數(shù)以千億計的神經(jīng)細(xì)胞。今后，隨著深度學(xué)習(xí)的規(guī)模和精度的提升，計算機(jī)將能夠達(dá)到人腦的什么程度呢？


東京大學(xué)研究生院工學(xué)系研究科副教授松尾豐指出，“人腦最大的優(yōu)勢在于擅長預(yù)測和推測。通過使用深度學(xué)習(xí)，對于未來的高精度預(yù)測或許將成為現(xiàn)實”。

人類擁有優(yōu)秀的預(yù)測能力，能夠根據(jù)物體的外觀，判斷其能否食用，或是根據(jù)與某人相關(guān)的知識，預(yù)測此人的年收入。如果把這些特征與計算機(jī)的處理性能相結(jié)合，超越人類的高精度未來預(yù)測將開辟一條嶄新的道路。

松尾副教授等人目前正在研究根據(jù)微博客“Twitter”上的發(fā)言內(nèi)容，來提高推測發(fā)言者性格的精度。今后還打算使用超級計算機(jī)等設(shè)備，把深度學(xué)習(xí)運(yùn)用于未來經(jīng)濟(jì)的預(yù)測。

深度學(xué)習(xí)不同于傳統(tǒng)技術(shù)，輸入的數(shù)據(jù)無需事先進(jìn)行人工篩選。因此，只需輸入報紙刊登的企業(yè)財務(wù)數(shù)據(jù)、各種各樣的市場數(shù)據(jù)、互聯(lián)網(wǎng)的經(jīng)濟(jì)信息等雜亂的信息，就有望實現(xiàn)準(zhǔn)確的經(jīng)濟(jì)預(yù)測。

真實的大腦中存在著功能各異的多個部位，在這些部位之間，電信號的交換非常復(fù)雜。深度學(xué)習(xí)目前還不能完全重現(xiàn)。

但日本產(chǎn)業(yè)技術(shù)綜合研究所智能系統(tǒng)研究部門的高級主任研究員麻生英樹說：“開發(fā)像人腦一樣提取數(shù)據(jù)內(nèi)在本質(zhì)概念的技術(shù)非常重要?！倍?，這種技術(shù)的應(yīng)用領(lǐng)域也十分廣泛，所以深度學(xué)習(xí)的研究熱度估計還會持續(xù)下去。