東芝宣布時域神經(jīng)網(wǎng)絡(luò)技術(shù):讓低功率IoT設(shè)備也能深度學(xué)習(xí)

　　為了追求其在物聯(lián)網(wǎng)和大數(shù)據(jù)分析領(lǐng)域的未來，東芝公司正在開發(fā)一種時域神經(jīng)網(wǎng)絡(luò)(TDNN/Time Domain Neural Network)，采用了超低功耗的神經(jīng)形態(tài)半導(dǎo)體電路，可用于執(zhí)行深度學(xué)習(xí)的運算。TDNN 由大量使用了東芝自家的模擬技術(shù)的微型處理單元構(gòu)成，這讓它和傳統(tǒng)的數(shù)字處理器不一樣。TDNN 在 11 月 8 日的 A-SSCC 2016(2016 年亞洲固態(tài)電路會議)上報告了出來——這是由 IEEE 贊助的一個在日本舉辦的國際性半導(dǎo)體電路技術(shù)會議。

　　深度學(xué)習(xí)需要大量的計算，所以通常需要在高功率的高性能處理上運行。但是，如果要將深度學(xué)習(xí)和物聯(lián)網(wǎng)邊緣設(shè)備(IoT edge device)(如傳感器和智能手機)結(jié)合起來，就需要非常高能效的 IC(集成電路)——它可以執(zhí)行大量所需的運算，同時僅需消耗極少的能量。

　　圖 1：時域神經(jīng)網(wǎng)絡(luò)(Time Domain Neural Network)

　　在馮諾依曼型的計算機架構(gòu)中，大部分能量都消耗在了將數(shù)據(jù)在片上或片外存儲設(shè)備與處理單元之間的傳遞之中。減少數(shù)據(jù)移動的一種最有效的方式是使用大量處理單元，其中每一個都僅處理與其接近的一個數(shù)據(jù)。這些數(shù)據(jù)點在將輸入信號(比如貓的照片)轉(zhuǎn)換成輸出信號(比如識別照片中有貓)的過程中會有一個權(quán)重。數(shù)據(jù)點離目標輸出越近，其獲得的權(quán)重就越高。該權(quán)重是自動化引導(dǎo)深度學(xué)習(xí)過程的一個參數(shù)。

　　生物大腦也有相似的架構(gòu)。在生物大腦中，神經(jīng)元之間的耦合強度(權(quán)重數(shù)據(jù))內(nèi)建于突觸(處理單元)之中。在大腦里面，突觸是神經(jīng)元之間的連接，每一個都有不同的強度。這些強度(權(quán)重)決定了通過該連接的信號。突觸可以通過這種方式執(zhí)行某種形式的計算處理。這種架構(gòu)被稱作是完全空間展開架構(gòu)(fully spatially unrolled architecture);它很有吸引力，但也有一個明顯的缺點——將其復(fù)制到芯片上需要大量的算術(shù)電路(arithmetic circuits)，而且會很快變大到難以承受的程度。

　　東芝的 TDNN 從 2013 年開始開發(fā)，使用了時域的模擬和數(shù)字混合的信號處理(TDAMS/time-domain analog and digital mixed signal processing)技術(shù)，可以實現(xiàn)處理單元的小型化。在 TDAMS 中，比如加法這樣的算術(shù)運算可以通過使用像模擬信號一樣的數(shù)字信號通過邏輯門的延遲時間來有效地執(zhí)行。使用這項技術(shù)，用于深度學(xué)習(xí)的處理單元可以僅有完全空間展開架構(gòu)的 3 個邏輯門和 1 bit 內(nèi)存即可。東芝已經(jīng)制造出了一款用于概念驗證的芯片，其使用了 SRAM(靜態(tài)隨機存取存儲器)單元作為內(nèi)存，并且已經(jīng)證明能夠用來識別手寫數(shù)字。其每條指令的能量消耗是 20.6 fJ，僅有之前一場頂級會議上報道的成績的 1/6.

　　東芝計劃將 TDNN 開發(fā)成一種電阻式隨機存取存儲器(ReRAM/resistive random access memory)，以進一步提升能量和數(shù)據(jù)的效率。其目標是得到一款能夠在邊緣設(shè)備上實現(xiàn)高性能深度學(xué)習(xí)技術(shù)的 IC。