英特爾醞釀已久的“殺手锏”，神經(jīng)網(wǎng)絡(luò)處理器威力有多驚人

　　雖然Carey Kloss口風(fēng)很緊，但關(guān)于Nervana神經(jīng)網(wǎng)絡(luò)處理器，科技行者還是在與他的聊天中，拿到以下犀利信息：

　　1、Lake Crest和Spring Crest的主要區(qū)別

　　Lake Crest作為第一代處理器，在GEMM(矩陣運(yùn)算)和卷積神經(jīng)上都實(shí)現(xiàn)了非常好的計(jì)算利用率。這不僅僅是指96%吞吐量的利用率，而是在沒有充分定制化的情況下，Nervana也在大多數(shù)情況下實(shí)現(xiàn)GEMM高于80%的計(jì)算利用率。當(dāng)開發(fā)下一代芯片時(shí)，如果能夠保持高計(jì)算利用率，新的產(chǎn)品在性能上有3到4倍的性能提升。

　　2、Lake Crest計(jì)算利用率達(dá)到96%，為什么到Spring Crest不升反而降了?

　　這是一個(gè)市場(chǎng)策略，把利用率適當(dāng)下降。有些情況確實(shí)可以實(shí)現(xiàn)98%，在沒有資源沖突時(shí)，每個(gè)硅芯片都完全運(yùn)行的情況下，可以達(dá)到99%甚至100%計(jì)算利用率。但英特爾想展示的是大多數(shù)情況下能能實(shí)現(xiàn)的利用率，所以適當(dāng)調(diào)整了。

　　3、為什么Nervana芯片的發(fā)布節(jié)奏一再延期?

　　分為兩個(gè)階段，Nervana在2014年成立之初就開始研發(fā)Lake Crest，，當(dāng)時(shí)整個(gè)團(tuán)隊(duì)大概45人，正在構(gòu)建一個(gè)最大的Die(硅芯片)，我們開發(fā)了Neon(深度學(xué)習(xí)軟件)，還構(gòu)建了云棧，這些都是小團(tuán)隊(duì)所完成的。但這也是挑戰(zhàn)所在，小團(tuán)隊(duì)成長(zhǎng)會(huì)有陣痛，Nervana花了很長(zhǎng)時(shí)間才把第一批產(chǎn)品拿出來，直到去年芯片才真正問世。關(guān)于Spring Crest為何選擇2019年年底推出，因?yàn)樾枰筛嗟腄ie(硅芯片)，獲得更快的處理速度，但需要一定的時(shí)間去制造硅片，也需要硅片變成新的神經(jīng)網(wǎng)絡(luò)處理器，這是延遲的原因。目前來看，Spring Crest正處于合理的節(jié)奏中，已具備明年取得成功的所有要素。

　　4、延遲給英特爾帶來了哪些不利影響?

　　Carey Kloss并不認(rèn)為英特爾會(huì)在神經(jīng)網(wǎng)絡(luò)處理器上處于劣勢(shì)，因?yàn)橛⑻貭柕姆磻?yīng)速度相對(duì)較快，比如逐步轉(zhuǎn)向bfloat是一個(gè)重要因素，它是業(yè)內(nèi)廣泛采用的針對(duì)神經(jīng)網(wǎng)絡(luò)的一種數(shù)值型數(shù)據(jù)格式，很受市場(chǎng)歡迎，未來英特爾將在人工智能產(chǎn)品線上擴(kuò)大對(duì)bfloat16的支持，包括至強(qiáng)處理器和FPGA。

　　5、拿nGraph與CUDA相比：沒在怕的

　　拋開硬件層面，英特爾還在軟件部署上加足馬力。目前，英特爾AIPG事業(yè)部正在開發(fā)名為nGraph的軟件，該軟件是一個(gè)框架中立的深度神經(jīng)網(wǎng)絡(luò)(DNN)模型編譯器。英特爾正在把TensorFlow、MXNet、Paddle Paddle、CNTK和ONNX等深度學(xué)習(xí)框架集成在nGraph之上。

　　同樣是一個(gè)平臺(tái)概念，很多人喜歡拿GPU代表企業(yè)英偉達(dá)與英特爾做比較，事實(shí)上，Carey Kloss就直言了nGraph與競(jìng)爭(zhēng)對(duì)手CUDA平臺(tái)的區(qū)別。

　　“nGraph與CUDA還是不一樣的。CUDA你可以理解為 nGraph的底面，我們稱之為變壓器。nGraph通過一個(gè)固定的API接收來自TensorFlow，Caffe或MXNet的輸入，然后通過圖形編譯器進(jìn)行性能優(yōu)化，排除一些不需要的東西，然后將其發(fā)送給CPU的MKL-DNN。所以CPU仍然使用MKL-DNN，即使在nGraph中也是如此?！安浑y看出，英特爾也有意把芯片開發(fā)放在統(tǒng)一平臺(tái)上，將nGraph打造成為開發(fā)基于所有英特爾芯片的AI應(yīng)用程序的接口做統(tǒng)一。

　　相比于新一代Nervana NNP-L1000還處于研發(fā)階段，英特爾另一款專注于計(jì)算機(jī)視覺的芯片VPU實(shí)際已經(jīng)商用。關(guān)于這款芯片，英特爾又寄托了怎樣的市場(chǎng)期望，來看另一位同樣在畫框外的大神的解答。

　　Movidius VPU：可能是計(jì)算機(jī)視覺領(lǐng)域的殺手級(jí)應(yīng)用，包括Windows 10

　　Gary Brown是英特爾Movidius營銷主管，他的主要工作是將Movidius研發(fā)的產(chǎn)品買到一個(gè)好市場(chǎng)，把買賣做大。他對(duì)科技行者說，“任何與計(jì)算機(jī)視覺和攝像頭有關(guān)的東西都能夠用到Movidius”。

　　英特爾Movidius營銷主管Gary Brown

　　在Movidius研發(fā)的芯片被稱作視覺處理單元VPU，是一種兼具計(jì)算機(jī)視覺和智能攝像頭處理器的芯片，所做的處理分為三類：第一類是ISP(圖像信號(hào))處理，第二類是基于攝像頭捕捉技術(shù)的處理，第三類是計(jì)算機(jī)視覺和深度學(xué)習(xí)。據(jù)Gary Brown透露，目前VPU在VR產(chǎn)品、機(jī)器人技術(shù)、智能家居、工業(yè)攝像頭和AI攝像頭、監(jiān)控和安保領(lǐng)域“生意”了得。

　　之所以廣受歡迎，無疑是VPU所具備的兩點(diǎn)優(yōu)勢(shì)：一是能直接在本地?cái)z像頭上運(yùn)行神經(jīng)網(wǎng)絡(luò)，與把數(shù)據(jù)傳送到云端再發(fā)送回本地相比，延遲更低、用電量更少、時(shí)間更短，也意味著更低的帶寬和成本;另外一點(diǎn)則是節(jié)能技術(shù)，用前端算法降低功耗，就可以關(guān)閉大部分芯片，只運(yùn)作小部分最優(yōu)化的面部檢測(cè)功能，而當(dāng)一張臉出現(xiàn)時(shí)，其他芯片則被啟動(dòng)，這樣能一直保持面部監(jiān)控系統(tǒng)開啟，對(duì)于家用攝像頭續(xù)航6個(gè)月沒問題。目前，Movidius還在最新產(chǎn)品Myriad X的VPU中加入神經(jīng)計(jì)算引擎，能將芯片在深度神經(jīng)網(wǎng)絡(luò)中的性能提升10倍。

　　“抓拍神器”谷歌 Clips相機(jī)是VPU的另一個(gè)典型應(yīng)用。這塊體積小巧甚至連屏幕都沒有的相機(jī)卻可以“自動(dòng)”記錄下畫面，實(shí)際上背后正是VPU在發(fā)揮作用。以AI驅(qū)動(dòng)攝像頭，聽上去很酷，但這還只是VPU應(yīng)用的“冰山一角”。因?yàn)橛⑻貭枌?duì)VPU還寄希望于更大的“生意”，遠(yuǎn)遠(yuǎn)超出了硬件范疇，十分重視與軟件巨頭微軟Windows 10的合作。

　　“Windows 10可能即將成為Movidius VPU巨大市場(chǎng)之一?！盙ary Brown變得興奮起了，“微軟最近為Windows 10研發(fā)出新的API，叫做Windows ML，代表機(jī)器學(xué)習(xí)，大家可以為Windows 10寫應(yīng)用，將機(jī)器學(xué)習(xí)轉(zhuǎn)移到Movidius VPU，開發(fā)人員能夠運(yùn)用Windows ML進(jìn)行應(yīng)用開發(fā)，比如視覺應(yīng)用、視頻會(huì)議應(yīng)用、智能助手進(jìn)行圖片搜索，通過圖像識(shí)別功能搜索有趣的事情?！币簿褪钦f，如果在Windows 10系統(tǒng)中運(yùn)用了Windows ML，就意味著無需一定要在CPU上運(yùn)行機(jī)器學(xué)習(xí)了。

　　Gary Brown還表示，目前也有PC廠商和他洽談將VPU直接放入電腦的新模塊，但名字不方便透露。

　　除了芯片在市場(chǎng)“聲名遠(yuǎn)揚(yáng)”， 讓人出乎意料的是Movidius的另一個(gè)強(qiáng)項(xiàng)竟然是軟件。因?yàn)椤癕ovidius團(tuán)隊(duì)很多成員屬于開發(fā)組，硬件只是我們產(chǎn)品的一部分，而軟件開發(fā)者工具包包含庫、驅(qū)動(dòng)、開源和對(duì)應(yīng)固件，也是Movidius產(chǎn)品線之一”，Gary Brown還表示，英特爾新版本的軟件開發(fā)者工具叫OpenVINO，該工具包能夠幫助開發(fā)者在云端(例如TensorFlow， MXNet和Caffe等熱門框架)創(chuàng)建和培訓(xùn)AI模型，并將其部署到各種產(chǎn)品中，像Movidius與?？低暤暮献骶褪遣捎眠@種模式。

　　目前Movidius的客戶有75%集中在物聯(lián)網(wǎng)領(lǐng)域，這并不稀奇。如果對(duì)Movidius稍有了解，會(huì)知道其實(shí)這家計(jì)算機(jī)視覺初創(chuàng)公司最早由英特爾物聯(lián)網(wǎng)部門在一年半前負(fù)責(zé)收購，為了輸出更全面的AI能力，現(xiàn)在英特爾內(nèi)部各部門之間都有著蛛網(wǎng)般交織的關(guān)系，包括AI在物聯(lián)網(wǎng)的滲透，這也是英特爾最重要的業(yè)務(wù)之一，如何打這張“組合牌”?又一位大牛登場(chǎng)了。

　　英特爾AI x IoT：重點(diǎn)放在“智能”物體，不只是計(jì)算能力

　　Jonathon Ballon是英特爾物聯(lián)網(wǎng)事業(yè)部副總裁，擅長(zhǎng)歸納的他，開場(chǎng)就拋出了大會(huì)關(guān)于物聯(lián)網(wǎng)內(nèi)容的三條總結(jié)：

　　物聯(lián)網(wǎng)沒有一個(gè)萬能的架構(gòu)，根據(jù)不同的場(chǎng)景有許多種架構(gòu);

　　不是所有的人工智能都發(fā)生在數(shù)據(jù)中心端或云端，人工智能運(yùn)行在分布式計(jì)算架構(gòu)中：從云端、網(wǎng)絡(luò)到邊緣設(shè)備;

　　英特爾在軟件工具方面做了很大投資，英特爾相信軟件是硬件平臺(tái)實(shí)現(xiàn)差異性的重要因素，nGraph和OpenVINO這兩個(gè)工具的互補(bǔ)性，能夠讓異構(gòu)架構(gòu)發(fā)揮出最佳性能。

　　英特爾物聯(lián)網(wǎng)事業(yè)部副總裁Jonathon Ballon

　　言簡(jiǎn)意賅，正如Jonathon Ballon所言，物聯(lián)網(wǎng)沒有一個(gè)萬能的架構(gòu)，但要如何一擊即中?英特爾似乎有獨(dú)特的思考與門路。

　　“我們重點(diǎn)放在智能物體上，不只是計(jì)算能力?！盝onathon Ballon進(jìn)一步解釋，“一臺(tái)帶有芯片的設(shè)備，具有計(jì)算能力，這叫做計(jì)算設(shè)備，但這并不意味著它是智能的。當(dāng)把計(jì)算設(shè)備連上網(wǎng)絡(luò)，把數(shù)據(jù)分離出來，這時(shí)這個(gè)設(shè)備稱為物聯(lián)網(wǎng)設(shè)備，但它還不一定是智能設(shè)備。物聯(lián)網(wǎng)設(shè)備和智能設(shè)備之間的區(qū)別是：后者有學(xué)習(xí)能力，這就是人工智能能夠發(fā)揮巨大作用的地方。”