英特爾醞釀已久的“殺手锏”，神經(jīng)網(wǎng)絡(luò)處理器威力有多驚人

　　雖然Carey Kloss口風(fēng)很緊，但關(guān)于Nervana神經(jīng)網(wǎng)絡(luò)處理器，科技行者還是在與他的聊天中，拿到以下犀利信息：

　　1、Lake Crest和Spring Crest的主要區(qū)別

　　Lake Crest作為第一代處理器，在GEMM(矩陣運算)和卷積神經(jīng)上都實現(xiàn)了非常好的計算利用率。這不僅僅是指96%吞吐量的利用率，而是在沒有充分定制化的情況下，Nervana也在大多數(shù)情況下實現(xiàn)GEMM高于80%的計算利用率。當開發(fā)下一代芯片時，如果能夠保持高計算利用率，新的產(chǎn)品在性能上有3到4倍的性能提升。

　　2、Lake Crest計算利用率達到96%，為什么到Spring Crest不升反而降了?

　　這是一個市場策略，把利用率適當下降。有些情況確實可以實現(xiàn)98%，在沒有資源沖突時，每個硅芯片都完全運行的情況下，可以達到99%甚至100%計算利用率。但英特爾想展示的是大多數(shù)情況下能能實現(xiàn)的利用率，所以適當調(diào)整了。

　　3、為什么Nervana芯片的發(fā)布節(jié)奏一再延期?

　　分為兩個階段，Nervana在2014年成立之初就開始研發(fā)Lake Crest，，當時整個團隊大概45人，正在構(gòu)建一個最大的Die(硅芯片)，我們開發(fā)了Neon(深度學(xué)習(xí)軟件)，還構(gòu)建了云棧，這些都是小團隊所完成的。但這也是挑戰(zhàn)所在，小團隊成長會有陣痛，Nervana花了很長時間才把第一批產(chǎn)品拿出來，直到去年芯片才真正問世。關(guān)于Spring Crest為何選擇2019年年底推出，因為需要集成更多的Die(硅芯片)，獲得更快的處理速度，但需要一定的時間去制造硅片，也需要硅片變成新的神經(jīng)網(wǎng)絡(luò)處理器，這是延遲的原因。目前來看，Spring Crest正處于合理的節(jié)奏中，已具備明年取得成功的所有要素。

　　4、延遲給英特爾帶來了哪些不利影響?

　　Carey Kloss并不認為英特爾會在神經(jīng)網(wǎng)絡(luò)處理器上處于劣勢，因為英特爾的反應(yīng)速度相對較快，比如逐步轉(zhuǎn)向bfloat是一個重要因素，它是業(yè)內(nèi)廣泛采用的針對神經(jīng)網(wǎng)絡(luò)的一種數(shù)值型數(shù)據(jù)格式，很受市場歡迎，未來英特爾將在人工智能產(chǎn)品線上擴大對bfloat16的支持，包括至強處理器和FPGA。

　　5、拿nGraph與CUDA相比：沒在怕的

　　拋開硬件層面，英特爾還在軟件部署上加足馬力。目前，英特爾AIPG事業(yè)部正在開發(fā)名為nGraph的軟件，該軟件是一個框架中立的深度神經(jīng)網(wǎng)絡(luò)(DNN)模型編譯器。英特爾正在把TensorFlow、MXNet、Paddle Paddle、CNTK和ONNX等深度學(xué)習(xí)框架集成在nGraph之上。

　　同樣是一個平臺概念，很多人喜歡拿GPU代表企業(yè)英偉達與英特爾做比較，事實上，Carey Kloss就直言了nGraph與競爭對手CUDA平臺的區(qū)別。

　　“nGraph與CUDA還是不一樣的。CUDA你可以理解為 nGraph的底面，我們稱之為變壓器。nGraph通過一個固定的API接收來自TensorFlow，Caffe或MXNet的輸入，然后通過圖形編譯器進行性能優(yōu)化，排除一些不需要的東西，然后將其發(fā)送給CPU的MKL-DNN。所以CPU仍然使用MKL-DNN，即使在nGraph中也是如此。“不難看出，英特爾也有意把芯片開發(fā)放在統(tǒng)一平臺上，將nGraph打造成為開發(fā)基于所有英特爾芯片的AI應(yīng)用程序的接口做統(tǒng)一。

　　相比于新一代Nervana NNP-L1000還處于研發(fā)階段，英特爾另一款專注于計算機視覺的芯片VPU實際已經(jīng)商用。關(guān)于這款芯片，英特爾又寄托了怎樣的市場期望，來看另一位同樣在畫框外的大神的解答。

　　Movidius VPU：可能是計算機視覺領(lǐng)域的殺手級應(yīng)用，包括Windows 10

　　Gary Brown是英特爾Movidius營銷主管，他的主要工作是將Movidius研發(fā)的產(chǎn)品買到一個好市場，把買賣做大。他對科技行者說，“任何與計算機視覺和攝像頭有關(guān)的東西都能夠用到Movidius”。

　　英特爾Movidius營銷主管Gary Brown

　　在Movidius研發(fā)的芯片被稱作視覺處理單元VPU，是一種兼具計算機視覺和智能攝像頭處理器的芯片，所做的處理分為三類：第一類是ISP(圖像信號)處理，第二類是基于攝像頭捕捉技術(shù)的處理，第三類是計算機視覺和深度學(xué)習(xí)。據(jù)Gary Brown透露，目前VPU在VR產(chǎn)品、機器人技術(shù)、智能家居、工業(yè)攝像頭和AI攝像頭、監(jiān)控和安保領(lǐng)域“生意”了得。

　　之所以廣受歡迎，無疑是VPU所具備的兩點優(yōu)勢：一是能直接在本地攝像頭上運行神經(jīng)網(wǎng)絡(luò)，與把數(shù)據(jù)傳送到云端再發(fā)送回本地相比，延遲更低、用電量更少、時間更短，也意味著更低的帶寬和成本;另外一點則是節(jié)能技術(shù)，用前端算法降低功耗，就可以關(guān)閉大部分芯片，只運作小部分最優(yōu)化的面部檢測功能，而當一張臉出現(xiàn)時，其他芯片則被啟動，這樣能一直保持面部監(jiān)控系統(tǒng)開啟，對于家用攝像頭續(xù)航6個月沒問題。目前，Movidius還在最新產(chǎn)品Myriad X的VPU中加入神經(jīng)計算引擎，能將芯片在深度神經(jīng)網(wǎng)絡(luò)中的性能提升10倍。

　　“抓拍神器”谷歌 Clips相機是VPU的另一個典型應(yīng)用。這塊體積小巧甚至連屏幕都沒有的相機卻可以“自動”記錄下畫面，實際上背后正是VPU在發(fā)揮作用。以AI驅(qū)動攝像頭，聽上去很酷，但這還只是VPU應(yīng)用的“冰山一角”。因為英特爾對VPU還寄希望于更大的“生意”，遠遠超出了硬件范疇，十分重視與軟件巨頭微軟Windows 10的合作。

　　“Windows 10可能即將成為Movidius VPU巨大市場之一?！盙ary Brown變得興奮起了，“微軟最近為Windows 10研發(fā)出新的API，叫做Windows ML，代表機器學(xué)習(xí)，大家可以為Windows 10寫應(yīng)用，將機器學(xué)習(xí)轉(zhuǎn)移到Movidius VPU，開發(fā)人員能夠運用Windows ML進行應(yīng)用開發(fā)，比如視覺應(yīng)用、視頻會議應(yīng)用、智能助手進行圖片搜索，通過圖像識別功能搜索有趣的事情。”也就是說，如果在Windows 10系統(tǒng)中運用了Windows ML，就意味著無需一定要在CPU上運行機器學(xué)習(xí)了。

　　Gary Brown還表示，目前也有PC廠商和他洽談將VPU直接放入電腦的新模塊，但名字不方便透露。

　　除了芯片在市場“聲名遠揚”， 讓人出乎意料的是Movidius的另一個強項竟然是軟件。因為“Movidius團隊很多成員屬于開發(fā)組，硬件只是我們產(chǎn)品的一部分，而軟件開發(fā)者工具包包含庫、驅(qū)動、開源和對應(yīng)固件，也是Movidius產(chǎn)品線之一”，Gary Brown還表示，英特爾新版本的軟件開發(fā)者工具叫OpenVINO，該工具包能夠幫助開發(fā)者在云端(例如TensorFlow， MXNet和Caffe等熱門框架)創(chuàng)建和培訓(xùn)AI模型，并將其部署到各種產(chǎn)品中，像Movidius與?？低暤暮献骶褪遣捎眠@種模式。

　　目前Movidius的客戶有75%集中在物聯(lián)網(wǎng)領(lǐng)域，這并不稀奇。如果對Movidius稍有了解，會知道其實這家計算機視覺初創(chuàng)公司最早由英特爾物聯(lián)網(wǎng)部門在一年半前負責(zé)收購，為了輸出更全面的AI能力，現(xiàn)在英特爾內(nèi)部各部門之間都有著蛛網(wǎng)般交織的關(guān)系，包括AI在物聯(lián)網(wǎng)的滲透，這也是英特爾最重要的業(yè)務(wù)之一，如何打這張“組合牌”?又一位大牛登場了。

　　英特爾AI x IoT：重點放在“智能”物體，不只是計算能力

　　Jonathon Ballon是英特爾物聯(lián)網(wǎng)事業(yè)部副總裁，擅長歸納的他，開場就拋出了大會關(guān)于物聯(lián)網(wǎng)內(nèi)容的三條總結(jié)：

　　物聯(lián)網(wǎng)沒有一個萬能的架構(gòu)，根據(jù)不同的場景有許多種架構(gòu);

　　不是所有的人工智能都發(fā)生在數(shù)據(jù)中心端或云端，人工智能運行在分布式計算架構(gòu)中：從云端、網(wǎng)絡(luò)到邊緣設(shè)備;

　　英特爾在軟件工具方面做了很大投資，英特爾相信軟件是硬件平臺實現(xiàn)差異性的重要因素，nGraph和OpenVINO這兩個工具的互補性，能夠讓異構(gòu)架構(gòu)發(fā)揮出最佳性能。

　　英特爾物聯(lián)網(wǎng)事業(yè)部副總裁Jonathon Ballon

　　言簡意賅，正如Jonathon Ballon所言，物聯(lián)網(wǎng)沒有一個萬能的架構(gòu)，但要如何一擊即中?英特爾似乎有獨特的思考與門路。

　　“我們重點放在智能物體上，不只是計算能力。”Jonathon Ballon進一步解釋，“一臺帶有芯片的設(shè)備，具有計算能力，這叫做計算設(shè)備，但這并不意味著它是智能的。當把計算設(shè)備連上網(wǎng)絡(luò)，把數(shù)據(jù)分離出來，這時這個設(shè)備稱為物聯(lián)網(wǎng)設(shè)備，但它還不一定是智能設(shè)備。物聯(lián)網(wǎng)設(shè)備和智能設(shè)備之間的區(qū)別是：后者有學(xué)習(xí)能力，這就是人工智能能夠發(fā)揮巨大作用的地方。”