2016人工智能技術(shù)發(fā)展進(jìn)程梳理

　　Intel人工智能布局

　　Intel收購Nervana

　　8月9日，Intel宣布收購創(chuàng)業(yè)公司Nervana Systems。Nervana的IP和加速深度學(xué)習(xí)算法經(jīng)驗可幫助Intel在人工智能領(lǐng)域獲得一席之地。

　　Nervana提供基于云的服務(wù)用于深度學(xué)習(xí)，使用獨立開發(fā)的、使用匯編級別優(yōu)化的、支持多GPU的Neon軟件，在卷積計算時采用了Winograd算法，數(shù)據(jù)載入也做了很多優(yōu)化。該公司宣稱，訓(xùn)練模型時，Neon比使用最普遍的Caffe快2倍。不僅如此，Nervana準(zhǔn)備推出深度學(xué)習(xí)定制芯片Nervana Engine，相比GPU在訓(xùn)練方面可以提升10倍性能。與Tesla P100類似，該芯片也利用16-bit半精度浮點計算單元和大容量高帶寬內(nèi)存(HBM，計劃為32GB，是競品P100的兩倍)，摒棄了大量深度學(xué)習(xí)不需要的通用計算單元。

　　在硬件基礎(chǔ)上，Nervana于11月份推出了Intel Nervana Graph平臺(簡稱ngraph)。該框架由三部分組成：一個用于創(chuàng)建計算圖的API、用于處理常見深度學(xué)習(xí)工作流的前端API(目前支持TensorFlow和Neon)、用于在 CPU/GPU/Nervana Engine上編譯執(zhí)行計算圖的轉(zhuǎn)換器API。

　　與此同時宣布成立Intel Nervana人工智能委員會，加拿大蒙特利爾大學(xué)Yoshua Bengio教授擔(dān)任創(chuàng)始會員。

　　圖7 Nervana Engine芯片架構(gòu)

　　8月17日，在Intel開發(fā)者峰會(IDF)上，Intel透露了面向深度學(xué)習(xí)應(yīng)用的新Xeon Phi處理器，名為Knights Mill(縮寫為 KNM)。它不是Knights Landing和Knights Hill的競品，而是定位在神經(jīng)網(wǎng)絡(luò)云服務(wù)中與NVIDIA Tesla GPU一較高下。

　　圖8 ngraph框架

　　9月6日，Intel收購計算機(jī)視覺創(chuàng)業(yè)公司Movidius。

　　Movidius是人工智能芯片廠商，提供低能耗計算機(jī)視覺芯片組。Google眼鏡內(nèi)配置了Movidius計算機(jī)視覺芯片。Movidius芯片可以應(yīng)用在可穿戴設(shè)備、無人機(jī)和機(jī)器人中，完成目標(biāo)識別和深度測量等任務(wù)。除了Google之外Movidius與國內(nèi)聯(lián)想和大疆等公司簽訂了協(xié)議。Movidius的Myriad 2系列圖形處理器已經(jīng)被聯(lián)想用來開發(fā)下一代虛擬現(xiàn)實產(chǎn)品。

　　9月8日，Intel FPGA技術(shù)大會(IFTD)杭州站宣布了Xeon-FPGA集成芯片項目。這是Intel并購Altera后最大的整合舉動，Intel將推出CPU+FPGA架構(gòu)的硬件平臺，該平臺預(yù)計于2017年量產(chǎn)，屆時，一片Skylake架構(gòu)的Xeon CPU和一片Stratix10的FPGA將“合二為一”，通過QPI Cache一致性互聯(lián)使FPGA獲得高帶寬、低延遲的數(shù)據(jù)通路。在這種形態(tài)中，F(xiàn)PGA本身就成為了CPU的一部分，甚至CPU上的軟件無需“感知”到FPGA的存在，直接調(diào)用mkl庫就可以利用 FPGA來加速某些計算密集的任務(wù)。

　　Xeon-FPGA樣機(jī)已經(jīng)在世界七大云廠商(Amazon、Google、微軟、Facebook、百度、阿里、騰訊)試用，用于加速各自業(yè)務(wù)熱點和基礎(chǔ)設(shè)施，包括機(jī)器學(xué)習(xí)、搜索算法、數(shù)據(jù)庫、存儲、壓縮、加密、高速網(wǎng)絡(luò)互連等。

　　除了上面CPU+FPGA集成的解決方案，Altera也有基于PCIe加速卡的解決方案。

　　圖9 Xeon-FPGA集成芯片架構(gòu)

　　11月8日ISDF大會上宣布，預(yù)計明年將銷售深度學(xué)習(xí)預(yù)測加速器(DLIA，Deep Learning Inference Accelerator)。該加速器為軟硬件集成的解決方案，用于加速卷積神經(jīng)網(wǎng)絡(luò)的預(yù)測(即前向計算)。軟件基于Intel MKL-DNN軟件庫和Caffe框架，便于二次開發(fā)，基于PCIe的FPGA加速卡提供硬件加速。該產(chǎn)品將直接同Google TPU、NVIDIA Tesla P4/M4展開競爭。

　　小結(jié)： Intel在人工智能領(lǐng)域的動作之大(All in AI)，品類之全(面向訓(xùn)練、預(yù)測，面向服務(wù)器、嵌入式)，涉獵之廣(Xeon Phi，F(xiàn)PGA，ASIC)令人為之一振。冰凍三尺非一日之寒，AI硬件和上層軟件的推廣與普及還有很長一段路要走。

　　NVIDIA人工智能布局

　　NVIDIA財報顯示，深度學(xué)習(xí)用戶目前占據(jù)數(shù)據(jù)中心銷售額一半，而HPC占三分之一，剩下的為虛擬化(例如虛擬桌面)。這也驅(qū)動NVIDIA在硬件架構(gòu)和軟件庫方面不斷加強(qiáng)深度學(xué)習(xí)性能，典型例子是在Maxwell處理器中最大化單精度性能，而在Pascal架構(gòu)中增加了半精度運算單元。與HPC不同，深度學(xué)習(xí)軟件能夠利用較低精度實現(xiàn)較高吞吐。

　　Pascal架構(gòu)

　　在4月5日GTC(GPU Technology Conference)2016大會上，NVIDIA發(fā)布了16nm FinFET制程超級核彈帕斯卡(Pascal)顯卡，最讓人驚嘆的還是一款定位于深度學(xué)習(xí)的超級計算機(jī)DGX-1。DGX-1擁有8顆帕斯卡架構(gòu)GP100核心的Tesla P100 GPU，以及7TB的SSD，兩顆16核心的Xeon E5-2698 v3以及512GB的DDR4內(nèi)存，半精度浮點處理能力170TFLOPS，功耗3.2kW。售價129000美元，現(xiàn)已面市。

　　9月13日，NVIDIA在GTC中國北京站發(fā)布了Tesla P4和P40。這兩個處理器也基于最新的Pascal架構(gòu)，是去年發(fā)布的M4和M40的升級版，包括了面向深度學(xué)習(xí)預(yù)測計算的功能單元，丟掉了64位雙精度浮點計算單元，取而代之的是8-bit整數(shù)算法單元。詳細(xì)參數(shù)如下。

　　圖10 DGX-1外觀

　　Tesla P4為半高半長卡，功耗只有50~75W，便于安裝到已有的Web Server提供高效的預(yù)測服務(wù)。同時，P4包括一個視頻解碼引擎和兩個視頻編碼引擎，對基于視頻的預(yù)測服務(wù)更為適合。

　　Tesla P40與P4用途稍有不同，絕對性能高，適合訓(xùn)練+預(yù)測，使用GoogLeNet評估時相比上一代M40有8倍性能提升。

　　圖11 Tesla P4/P40參數(shù)對比

　　Tesla P100仍然是最合適訓(xùn)練的GPU，自帶NVLink多GPU快速互聯(lián)接口和HBM2。這些特性是P40和P4不具備的，因為面向預(yù)測的GPU不需要這些。

　　Pascal家族從P100到P4，相對三年前的Kepler架構(gòu)提速達(dá)到40~60倍。

　　在硬件之外，NVIDIA軟件方面也不遺余力。

　　圖12 NVIDIA Pascal架構(gòu)軟硬件加速情況

　　cuDNN

　　NVIDIA CUDA深度神經(jīng)網(wǎng)絡(luò)庫(cuDNN)是一個GPU上的深度神經(jīng)網(wǎng)絡(luò)原語加速庫。cuDNN提供高度優(yōu)化的標(biāo)準(zhǔn)功能(例如卷積、下采樣、歸一化、激活層、LSTM的前向和后向計算)實現(xiàn)。目前cuDNN支持絕大多數(shù)廣泛使用的深度學(xué)習(xí)框架如Caffe、TensorFlow、Theano、Torch和CNTK等。對使用頻率高的計算，如VGG模型中的3x3卷積做了特別優(yōu)化。支持Windows/Linux/MacOS系統(tǒng)，支持Pascal/Maxwell/Kepler硬件架構(gòu)，支持嵌入式平臺Tegra K1/X1。在Pascal架構(gòu)上使用FP16實現(xiàn)，以減少內(nèi)存占用并提升計算性能。

　　TensorRT

　　TensorRT是一個提供更快響應(yīng)時間的神經(jīng)網(wǎng)絡(luò)預(yù)測引擎，適合深度學(xué)習(xí)應(yīng)用產(chǎn)品上線部署。開發(fā)者可以使用TensorRT實現(xiàn)高效預(yù)測，利用INT8或FP16優(yōu)化過的低精度計算，可以顯著降低延遲。

　　圖13 TensorRT的使用方式

　　DeepStream SDK支持深度學(xué)習(xí)視頻分析，在送入預(yù)測引擎之前做解碼、預(yù)處理。

　　這兩個軟件庫都是與Pascal GPU一起使用的。

　　小結(jié)： NVIDIA是最早在AI發(fā)力的硬件廠商，但從未停止在軟件上的開發(fā)和探索，不斷向上發(fā)展，蠶食、擴(kuò)充自己在AI的地盤，目前已經(jīng)涵蓋服務(wù)器/嵌入式平臺，面向多個專用領(lǐng)域(自動駕駛、醫(yī)療健康、超算)，具備極強(qiáng)的爆發(fā)力(從今年NVIDIA股票也能看出這一點)。