人工智能推動(dòng)神經(jīng)網(wǎng)絡(luò)技術(shù)開發(fā)熱潮

神經(jīng)網(wǎng)絡(luò)幾乎成了人工智能的代名詞，正在被應(yīng)用于各種領(lǐng)域，包括影像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理、自動(dòng)駕駛、訊號(hào)分析、大數(shù)據(jù)分析和游戲。
這是一個(gè)瞬息萬(wàn)變的世界，每年都有新的神經(jīng)網(wǎng)絡(luò)模型被更新，大量的開放原始碼到處流傳，專用人工智能芯片開發(fā)企業(yè)更是如雨后春筍般涌現(xiàn)。
因此全球研究人員正透過(guò)模仿人類大腦組織方式，積極開發(fā)類神經(jīng)網(wǎng)絡(luò)技術(shù)，雖然一直有突破性的進(jìn)展，但是現(xiàn)階段的神經(jīng)網(wǎng)絡(luò)，還是缺乏實(shí)時(shí)變化的靈活性，以及難以快速適應(yīng)陌生的狀況，使得神經(jīng)網(wǎng)絡(luò)技術(shù)普及實(shí)用化的進(jìn)程還是相當(dāng)遙遠(yuǎn)。

根據(jù)不同應(yīng)用開發(fā)出的神經(jīng)網(wǎng)絡(luò)模型
神經(jīng)網(wǎng)絡(luò)是模仿人類神經(jīng)細(xì)胞網(wǎng)絡(luò)的模型，由輸入層、中間層(隱藏層)和輸出層的神經(jīng)元，以及連接它們的突觸組成。而機(jī)器學(xué)習(xí)就是在大量數(shù)據(jù)的基礎(chǔ)上，自動(dòng)構(gòu)建連接和它們的權(quán)重。
深度學(xué)習(xí)是指，使用具有多個(gè)中間層的神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)。深度學(xué)習(xí)使計(jì)算機(jī)能夠提取自己的特征量，作為發(fā)現(xiàn)模式和規(guī)則時(shí)應(yīng)該注意些什么，同時(shí)也能進(jìn)行識(shí)別和其他作業(yè)，因此促進(jìn)了人工智能熱潮。

模型根據(jù)應(yīng)用的不同，又分為影像識(shí)別的深度神經(jīng)網(wǎng)絡(luò)（DNN）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）、語(yǔ)音識(shí)別的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和自然語(yǔ)言處理的Transformer。模型可以在不同的應(yīng)用中進(jìn)行整合，也可為每個(gè)應(yīng)用開發(fā)出新模型。

深度神經(jīng)網(wǎng)絡(luò)（DNN）
DNN的隱藏層由一個(gè)卷積層和一個(gè)池化層組成。卷積層利用過(guò)濾上一層附近的節(jié)點(diǎn)，而可得到一個(gè)特征圖。池化層進(jìn)一步縮小卷積層輸出的特征圖，得到新的特征圖，同時(shí)可在保持影像特性的同時(shí)，可以極大地壓縮影像中的信息量。例如，在2012年ILSVRC影像識(shí)別比賽中，以壓倒性的優(yōu)勢(shì)獲勝，采用八層結(jié)構(gòu)的AlexNet就引發(fā)了深度學(xué)習(xí)的熱潮，隨后經(jīng)過(guò)改進(jìn)而來(lái)的ResNet，其層數(shù)就達(dá)到了152層。因此，透過(guò)導(dǎo)入簡(jiǎn)化處理塊的Residual模塊，即使是在高層數(shù)的結(jié)構(gòu)下，也能達(dá)到高效學(xué)習(xí)。

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）
具有自我回饋的遞歸網(wǎng)絡(luò)RNN，是一個(gè)適合處理包括語(yǔ)音波形、視訊和文本文件(字符串)等等時(shí)間序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。例如神經(jīng)網(wǎng)絡(luò)中為了處理如語(yǔ)音等，可變長(zhǎng)時(shí)間序列數(shù)據(jù)，將隱藏層的值再次回饋輸入到隱藏層。當(dāng)存取很久以前的數(shù)據(jù)，或出現(xiàn)運(yùn)算量爆炸等問(wèn)題時(shí)，可透過(guò)應(yīng)用于自然語(yǔ)言處理的LSTM(長(zhǎng)短時(shí)記憶)來(lái)解決。

Transformer
在自然語(yǔ)言處理方面，既不是透過(guò)RNN，也不是CNN，而是據(jù)由深度學(xué)習(xí)的Transformer取得了重大進(jìn)展：這是一個(gè)只使用Attention(表示要注意句子中哪些單詞的分?jǐn)?shù))的Encoder-Decoder模型，也可透過(guò)并行化來(lái)減少學(xué)習(xí)時(shí)間。在后續(xù)的技術(shù)改進(jìn)下也相繼開發(fā)出的BERT、GPT-2、T5等，甚至已超過(guò)了人類的語(yǔ)言處理能力。
而Conformer是一個(gè)結(jié)合CNN的模型，可被應(yīng)用于語(yǔ)音識(shí)別，其能力已經(jīng)超過(guò)RNN的最高準(zhǔn)確性。Conformer結(jié)合了善于提取長(zhǎng)時(shí)空依賴關(guān)系的Transformer，和善于提取局部關(guān)系的CNN。此外，一個(gè)新的影像識(shí)別模型-Vision Transformer也被開發(fā)出來(lái)，在進(jìn)行影像識(shí)別時(shí)，所需要的運(yùn)算資源比CNN少更少。

大型數(shù)據(jù)處理業(yè)者相爭(zhēng)投入開發(fā)AI芯片
神經(jīng)網(wǎng)絡(luò)中的訊號(hào)處理，相當(dāng)于將神經(jīng)元乘以權(quán)重的數(shù)值加在一起，再透過(guò)高速運(yùn)算乘積之和的操作來(lái)模仿大腦行為(高速積和加速器)。最近的主流配置是盡可能多鋪設(shè)必要數(shù)量的圖磚(Tile)來(lái)進(jìn)行AI運(yùn)算，例如，一個(gè)圖磚被用于終端傳感器控制，4-16個(gè)圖磚用于中等規(guī)模的邊緣處理，64個(gè)或更多圖磚用于數(shù)據(jù)中心等服務(wù)器。
人工智能芯片的功能大致可分為推理和學(xué)習(xí)。兩者都需要相同的高速乘積運(yùn)算，但與推理相比，學(xué)習(xí)需要進(jìn)行大量的乘積和運(yùn)算，因此各大數(shù)據(jù)處理業(yè)者正積極投入這方面的研發(fā)，例如，Google目前正積極開發(fā)TPU來(lái)作為本身數(shù)據(jù)中心的AI芯片。第一代(2017年)有8位定點(diǎn)操作，只能用于推理，但第二代有16位浮點(diǎn)運(yùn)算，則可以應(yīng)用在學(xué)習(xí)。接下來(lái)第三代的性能則是120Tops @ 250W，最新的第四代載板設(shè)計(jì)了4顆TPU，且采用液體冷卻，指令周期更是上一代的2.7倍。這些電路板被安裝在一個(gè)個(gè)機(jī)柜內(nèi)，然后通過(guò)高速傳輸線相互連接。
用于推理的人工智能芯片要求體積小、功耗低和實(shí)時(shí)處理。例如，Gyrfalco銷售一種形狀像USB隨身碟的AI棒。采用的AI芯片是一款具有矩陣處理引擎，利用PIM(內(nèi)存中處理器)技術(shù)來(lái)進(jìn)行神經(jīng)網(wǎng)絡(luò)模型的計(jì)算處理，這個(gè)架構(gòu)可降低與內(nèi)存和計(jì)算電路之間的數(shù)據(jù)存取的功耗，芯片內(nèi)部有大約28000個(gè)節(jié)點(diǎn)和10M bytes的內(nèi)存，據(jù)稱能夠?qū)⑼ㄓ媚Ｐ退璧乃行阅芏寄苷系叫酒小?br/>
NTT與東大合作開發(fā)新型類腦學(xué)習(xí)算法
對(duì)于深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算，日本NTT與東京大學(xué)合作下，開發(fā)了一種不需要準(zhǔn)確掌握物理系統(tǒng)信息，適用于物理神經(jīng)網(wǎng)絡(luò)的新算法-「擴(kuò)展DFA(Detrended Fluctuation Analysis)」。
圖一A是這種算法的概況和結(jié)果的定位，這是基于深入研究了一種名為直接回饋排列法的學(xué)習(xí)算法，是將反向傳播算法(Back Propagation；BP)修改為在大腦信息處理更容易實(shí)現(xiàn)的形式，并將其擴(kuò)展到可在物理神經(jīng)網(wǎng)絡(luò)中實(shí)現(xiàn)。
這個(gè)方法是將神經(jīng)網(wǎng)絡(luò)最后一層的輸出與所需輸出訊號(hào)(誤差訊號(hào))之間的差值，透過(guò)隨機(jī)元素的矩陣的線性變換來(lái)更新學(xué)習(xí)參數(shù)。運(yùn)算過(guò)程不需要測(cè)量物理系統(tǒng)的狀態(tài)，也不需要像BP法需要利用微分響應(yīng)的物理模擬進(jìn)行近似運(yùn)算。
此外，這個(gè)運(yùn)算可以在包括光路等物理系統(tǒng)上執(zhí)行，除了可以在物理系統(tǒng)上有效地運(yùn)算推理，還可以進(jìn)行學(xué)習(xí)。這種新的學(xué)習(xí)方法不僅適用于物理實(shí)現(xiàn)中實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)模型，也適用于各種機(jī)器學(xué)習(xí)模型，包括實(shí)際用于機(jī)器翻譯和其他應(yīng)用的高級(jí)深度神經(jīng)網(wǎng)絡(luò)模型。
因此NTT與東京大學(xué)構(gòu)建了一個(gè)光學(xué)神經(jīng)網(wǎng)絡(luò)(圖一 B)，證明了以前難以進(jìn)行的光學(xué)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，可以利用光學(xué)計(jì)算輔助推理和學(xué)習(xí)運(yùn)算的可行性。這一成果將解決人工智能的計(jì)算時(shí)，功耗和計(jì)算時(shí)間增加的問(wèn)題。


 
圖一 : 物理系統(tǒng)的計(jì)算被納入學(xué)習(xí)部分來(lái)提高效率；以及實(shí)際設(shè)備應(yīng)用的光學(xué)神經(jīng)網(wǎng)絡(luò)。(source：日本NTT；作者整理)

適用于物理神經(jīng)網(wǎng)絡(luò)的擴(kuò)展DFA法
DFA法是受到大腦信息處理的啟發(fā)，因而進(jìn)一步擴(kuò)展為適合在物理神經(jīng)網(wǎng)絡(luò)中實(shí)現(xiàn)的形式。如圖二A所示，傳統(tǒng)的DFA法是透過(guò)隨機(jī)矩陣對(duì)最后一層的誤差，進(jìn)行線性變換來(lái)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)；盡管比BP法更適用于物理神經(jīng)網(wǎng)絡(luò)，但仍然需要計(jì)算物理神經(jīng)網(wǎng)絡(luò)時(shí)，使用的非線性變換及其導(dǎo)數(shù)。
而NTT與東大擴(kuò)展了DFA法技術(shù)，使這部分可以由一個(gè)任意的非線性函數(shù)代替。這完全省去了對(duì)物理系統(tǒng)的狀態(tài)測(cè)量、基于微分響應(yīng)的物理模擬的近似值，以及基于這些近似值的順序反向傳播演算。學(xué)習(xí)過(guò)程已被大幅度簡(jiǎn)化，實(shí)現(xiàn)了用物理神經(jīng)網(wǎng)絡(luò)幾乎不可能的學(xué)習(xí)。此外在對(duì)各種深度學(xué)習(xí)模型的適用性應(yīng)用于各種深度學(xué)習(xí)模型時(shí)，也可以適用于廣泛的深度神經(jīng)網(wǎng)絡(luò)模型，包括從實(shí)際用于影像識(shí)別，和其他應(yīng)用的高級(jí)模型（圖二B）。


 
圖二 : A現(xiàn)有和新開發(fā)的學(xué)習(xí)方法概述；B各種模型的基準(zhǔn)檢驗(yàn)結(jié)果。（source：日本NTT；作者整理）

圖三A是使用構(gòu)建系統(tǒng)對(duì)圖像處理基準(zhǔn)任務(wù)性能的比較結(jié)果，光學(xué)神經(jīng)網(wǎng)絡(luò)可達(dá)到最高性能。圖三B則是顯示了每單位影像的學(xué)習(xí)時(shí)間對(duì)神經(jīng)元數(shù)量的依賴性。在小規(guī)模網(wǎng)絡(luò)模型的情況下，速率決定了信息傳輸?shù)焦鈱W(xué)硬件的處理時(shí)間，因此效果不如光學(xué)計(jì)算的計(jì)算加速效果大。
但是隨著神經(jīng)元數(shù)量的增加，可以發(fā)現(xiàn)光學(xué)神經(jīng)網(wǎng)絡(luò)計(jì)算在指令周期上比傳統(tǒng)的數(shù)字電子計(jì)算更有優(yōu)勢(shì)。此外，由于人工智能運(yùn)算的功耗，是由效率和計(jì)算時(shí)間的積和所決定的，因此加速計(jì)算有助于降低功耗。


 
圖三 : A使用光學(xué)神經(jīng)網(wǎng)絡(luò)進(jìn)行影像辨識(shí)測(cè)試(手寫字符辨識(shí)、衣服影像辨識(shí)；B 每單位影像的運(yùn)算時(shí)間對(duì)神經(jīng)元數(shù)量的依賴性。(source：日本NTT；作者整理)

靈感來(lái)自于線蟲的液體神經(jīng)網(wǎng)絡(luò)技術(shù)
2020年，由麻省理工學(xué)院Ramin Hasani和Matthias Lechner所領(lǐng)導(dǎo)的一個(gè)研究小組，推出了一種液體神經(jīng)網(wǎng)絡(luò)(Liquid Neural Network)的新形態(tài)神經(jīng)網(wǎng)絡(luò)，其靈感來(lái)自微小的線蟲。這項(xiàng)技術(shù)是以模仿具有細(xì)長(zhǎng)的線狀身體的「線性動(dòng)物」為參考基礎(chǔ)，來(lái)開發(fā)出神經(jīng)網(wǎng)絡(luò)技術(shù)，達(dá)到前所未有的速度和靈活性，來(lái)實(shí)現(xiàn)「質(zhì)」的跨越性進(jìn)步，足以在某些應(yīng)用中取代傳統(tǒng)網(wǎng)絡(luò)。
據(jù)加州大學(xué)伯克利分校的機(jī)器人工程師Ken Goldberg表示，根據(jù)實(shí)驗(yàn)結(jié)果顯示，比起需要透過(guò)隨時(shí)間變化，來(lái)進(jìn)行建立模型的「連續(xù)時(shí)間神經(jīng)網(wǎng)絡(luò)」，這款「液體神經(jīng)網(wǎng)絡(luò)技術(shù)」，要來(lái)得更快、更準(zhǔn)確（圖四）。


 
圖四 : 麻省理工學(xué)院Ramin Hasani和Matthias Lechner開發(fā)出新形態(tài)的液體神經(jīng)網(wǎng)絡(luò)。（source：麻省理工學(xué)院Ramin Hasani博士）

Hasani和Lechner在思考如何能建立出一個(gè)夠靈活，且能快速適應(yīng)新狀況的反應(yīng)性神經(jīng)網(wǎng)絡(luò)時(shí)，發(fā)現(xiàn)線蟲是一個(gè)非理想可參考的生物體。線蟲是少數(shù)具有完全反射的神經(jīng)系統(tǒng)的生物之一，可以透過(guò)一個(gè)大約1mm長(zhǎng)的神經(jīng)系統(tǒng)，來(lái)完成一系列復(fù)雜的行為，包括遷移、覓食、睡眠、交配，甚至從經(jīng)驗(yàn)中不斷的學(xué)習(xí)，而且在現(xiàn)實(shí)世界中，線蟲無(wú)論在任何環(huán)境或狀況下都具有相當(dāng)優(yōu)秀的適應(yīng)能力。
液體神經(jīng)網(wǎng)絡(luò)技術(shù)與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)有很大的不同，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)只提供特定時(shí)刻的結(jié)果。而液體神經(jīng)網(wǎng)絡(luò)技術(shù)是一種非常特別的神經(jīng)網(wǎng)絡(luò)架構(gòu)，可以將神經(jīng)元都是聯(lián)系在一起，并且透過(guò)彼此之間具有相互依賴的特性，來(lái)描述系統(tǒng)于任何特定時(shí)間下的狀態(tài)。
此外，在處理突觸的方式上也有所不同，突觸是人工神經(jīng)元之間的連接。在標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)中，突觸連接的強(qiáng)度，可以用單一的數(shù)值來(lái)表示「權(quán)重(weight)」。而另一方面，在液體神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元之間的訊號(hào)交換是透過(guò)「非線性」函數(shù)控制的隨機(jī)過(guò)程，這意味著不會(huì)傳回與輸入成比例的響應(yīng)（圖五）。


 
圖五 : MIT的研究人員基于蠕蟲的啟發(fā)，發(fā)現(xiàn)了一種更靈活的機(jī)器學(xué)習(xí)方法-液體神經(jīng)網(wǎng)絡(luò)，可以實(shí)時(shí)轉(zhuǎn)換其底層算法，達(dá)到前所未有的速度和適應(yīng)性。（source：Quanta Magazine）

只需利用基本運(yùn)算獲得精確的近似解
傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法是利用在訓(xùn)練期間調(diào)整「權(quán)重」的最佳值，但在面對(duì)大量數(shù)據(jù)的環(huán)境下，液體神經(jīng)網(wǎng)絡(luò)的適應(yīng)性會(huì)來(lái)得更強(qiáng)。因?yàn)橐后w神經(jīng)網(wǎng)絡(luò)可以根據(jù)觀察到的輸入改變基礎(chǔ)程序。例如在對(duì)自動(dòng)駕駛汽車操作進(jìn)行測(cè)試時(shí)，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)只能定期分析來(lái)自汽車攝影機(jī)的視覺(jué)數(shù)據(jù)，雖然液體神經(jīng)網(wǎng)絡(luò)僅由19個(gè)神經(jīng)元和253個(gè)突觸所組成，按機(jī)器學(xué)習(xí)標(biāo)準(zhǔn)來(lái)說(shuō)這個(gè)能力根本是非常薄弱，但事實(shí)上，該模型是允許對(duì)例如蜿蜒的道路等，復(fù)雜的道路進(jìn)行更頻繁的采樣，因此液體神經(jīng)網(wǎng)絡(luò)能比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，表現(xiàn)出更高的反應(yīng)能力。
不過(guò)，在突觸和神經(jīng)元的非線性方程式，通常需要計(jì)算機(jī)多次運(yùn)算才能得出解決方案。因此這也是液體神經(jīng)網(wǎng)絡(luò)的死穴，因?yàn)橐后w神經(jīng)網(wǎng)絡(luò)的突觸和神經(jīng)元的軟件，由于是單獨(dú)進(jìn)行計(jì)算，再加上所使用的突觸和神經(jīng)元數(shù)量不多，因此運(yùn)行速度非常慢。不過(guò)，這樣的困境也被克服了。
在2022年11月新發(fā)表的一篇論文中表示，研究團(tuán)隊(duì)提出了一種新網(wǎng)絡(luò)架構(gòu)，不必透過(guò)復(fù)雜困難的運(yùn)算來(lái)解決非線性方程式。這個(gè)架構(gòu)是只需要利用基本運(yùn)算，就可以獲得近乎精確的近似解，大幅度的減少運(yùn)算時(shí)間和能量，以及明顯地提高了處理速度。
目前這個(gè)小組正用一架無(wú)人機(jī)測(cè)試最新的液體神經(jīng)網(wǎng)絡(luò)，最初的測(cè)試是在森林中進(jìn)行的，但希望將來(lái)能移到城市環(huán)境中，看看在面對(duì)新的環(huán)境條件時(shí)自我調(diào)適能力。

結(jié)語(yǔ)：過(guò)度投入將導(dǎo)致泡沫熱潮
神經(jīng)運(yùn)算是人工智能熱潮的基礎(chǔ)技術(shù)，在許多業(yè)者和機(jī)構(gòu)的投入下，從材料到設(shè)備、硬件、軟件到應(yīng)用，都呈現(xiàn)迅速地發(fā)展的態(tài)勢(shì)。此外，還有全方位的開放架構(gòu)，進(jìn)入門坎相當(dāng)?shù)?，尤其是從?yīng)用的角度來(lái)看，也有相當(dāng)多的開發(fā)工具可使用。
以目前來(lái)看，但最大的障礙可能是收集所需要的大量學(xué)習(xí)數(shù)據(jù)，例如在某些領(lǐng)域，由于隱私和其他問(wèn)題，數(shù)據(jù)收集是非常困難的。
另外，有些應(yīng)用領(lǐng)域更是缺乏關(guān)于缺陷和故障的數(shù)據(jù)，如預(yù)測(cè)性故障和故障分析。由于神經(jīng)運(yùn)算是一個(gè)以歸納方式給出答案的系統(tǒng)，因此有些人會(huì)抱怨，這和訴諸理性的演繹法不同。
然而，無(wú)論如何神經(jīng)運(yùn)算已經(jīng)開始啟動(dòng)了，也呈現(xiàn)出非要達(dá)到目標(biāo)的勢(shì)頭。為了解決上述問(wèn)題，仍然需要技術(shù)的創(chuàng)新，可以說(shuō)所有的技術(shù)領(lǐng)域都有商業(yè)機(jī)會(huì)。因此更要冷靜地分析形勢(shì)，不要被繁榮的景象所引誘，而又出現(xiàn)另一個(gè)泡沫熱潮。