英特爾人工智能——專為實(shí)際應(yīng)用打造的工具

　　如今人工智能 (AI) 的發(fā)展迎來了令人振奮的時(shí)刻。曾經(jīng)只有具備深厚專業(yè)知識(shí)積累的公司才有可能使用人工智能，但短短幾年后，隨著軟件工具、生態(tài)系統(tǒng)和硬件開發(fā)的日趨成熟，越來越多的公司開始應(yīng)用人工智能，英特爾的眾多客戶通過人工智能技術(shù)在各種行業(yè)案例中取得了變革性的成功。同時(shí)我們也發(fā)現(xiàn)，并不存在某個(gè)單一的“最佳”硬件能夠運(yùn)行各種各樣的人工智能應(yīng)用。因?yàn)槿斯ぶ悄艿男问绞嵌喾N多樣的，不同的應(yīng)用也決定了從數(shù)據(jù)中心到邊緣再到設(shè)備所需的硬件能力都會(huì)有所差別，因此我們需要更加多樣化的硬件產(chǎn)品組合來滿足不同的需求。英特爾人工智能產(chǎn)品能夠滿足多種多樣的人工智能應(yīng)用需求，在各種應(yīng)用場景中都將為英特爾客戶帶來最高的回報(bào)。

　　從擅長對(duì)大量非結(jié)構(gòu)化語音和文本數(shù)據(jù)進(jìn)行訓(xùn)練和推理的英特爾?至強(qiáng)?可擴(kuò)展處理器，到為實(shí)時(shí)推理提供出色吞吐量和低延遲的英特爾? FPGA，再到為攝像頭提供超低功耗推理的英特爾? Movidius?視覺處理單元 (VPU)，以及即將推出的英特爾? Nervana?神經(jīng)網(wǎng)絡(luò)處理器(英特爾? Nervana? NNP)，無論數(shù)據(jù)是存在于設(shè)備還是邊緣，是數(shù)據(jù)中心還是在云上，英特爾提供了一個(gè)深度硅芯片基礎(chǔ)，來實(shí)現(xiàn)數(shù)據(jù)中心的創(chuàng)新。除了硬件平臺(tái)，英特爾在軟件上也在進(jìn)行大量投資，讓不同的產(chǎn)品組合之間可以轉(zhuǎn)換功能，從而不受限制地將人工智能帶到各種應(yīng)用程序中去。例如nGraph?這樣的開源項(xiàng)目，降低了在不同硬件平臺(tái)對(duì)不同深度學(xué)習(xí)框架(TensorFlow*、MXNet*、PyTorch*等)進(jìn)行優(yōu)化的難度，使得開發(fā)人員可以向其客戶提供最佳的體驗(yàn)。

　　采用英特爾?至強(qiáng)?可擴(kuò)展處理器進(jìn)行高級(jí)深度學(xué)習(xí)訓(xùn)練

　　挑戰(zhàn)：通過自動(dòng)分析顯微鏡圖像中數(shù)千個(gè)不同的個(gè)體特性發(fā)現(xiàn)新的治療方法，這些圖像尺寸遠(yuǎn)大于傳統(tǒng)深度學(xué)習(xí)數(shù)據(jù)集中的圖像尺寸

　　解決方案：利用基于英特爾至強(qiáng)可擴(kuò)展處理器平臺(tái)的大內(nèi)存容量和高性能計(jì)算能力

　　高內(nèi)涵篩選是藥物研發(fā)的重要工具，這是一項(xiàng)極具挑戰(zhàn)且極耗時(shí)的工作，需要從圖像中提取數(shù)千個(gè)預(yù)定義特性。在英特爾以數(shù)據(jù)為中心創(chuàng)新峰會(huì)上，我們談到了諾華正在與英特爾合作，利用深度學(xué)習(xí)技術(shù)來加快細(xì)胞培養(yǎng)顯微鏡圖像的分析，以研究各種治療方法的效果。由于使用了完整的顯微鏡圖像，本評(píng)估中的圖像尺寸比普通深度學(xué)習(xí)基準(zhǔn)中使用的圖像尺寸大得多，是ImageNet* 數(shù)據(jù)集中圖像尺寸的26倍以上。

　　由于訓(xùn)練模型中的參數(shù)數(shù)量多，所用圖像的尺寸大、數(shù)量多，便對(duì)計(jì)算和內(nèi)存能力提出了更高的要求。研究團(tuán)隊(duì)使用了英特爾至強(qiáng)可擴(kuò)展處理器、英特爾? Omni-Path架構(gòu)和TensorFlow v1.7.0搭建的系統(tǒng)進(jìn)行訓(xùn)練，把訓(xùn)練時(shí)間節(jié)省了20倍。英特爾?硬件可支持卓越的內(nèi)存容量，支持每秒處理120多張3.9兆像素的圖像。

　　正如案例所示，CPU架構(gòu)更能滿足很多現(xiàn)實(shí)情況中的深度學(xué)習(xí)應(yīng)用需求，基于英特爾至強(qiáng)可擴(kuò)展處理器的平臺(tái)性能通過持續(xù)地投資也在不斷增強(qiáng)。自平臺(tái)推出以來，其針對(duì)流行框架的訓(xùn)練速度提升了1.4倍以上，而INT8推理速度則提升了近5.4倍。隨著新一代英特爾至強(qiáng)可擴(kuò)展處理器的推出，推理速度更有望提升至11倍。未來對(duì)英特爾?傲騰? 數(shù)據(jù)中心持久內(nèi)存的平臺(tái)支持，還將擴(kuò)展CPU附近的內(nèi)存容量，以支持對(duì)更大數(shù)據(jù)集的訓(xùn)練。在創(chuàng)新峰會(huì)上，我們還宣布推出英特爾?DL Boost，這是一套旨在加快人工智能深度學(xué)習(xí)速度的處理器技術(shù)。Cascade Lake還將采用矢量神經(jīng)網(wǎng)絡(luò)指令集(VNNI)，以前需要采用三條指令，而現(xiàn)在只需要一條指令即可實(shí)現(xiàn)。Cooper Lake是繼Cascade Lake之后的又一款英特爾至強(qiáng)可擴(kuò)展處理器，將整合英特爾?DL Boost功能(Bfloat16)以提升人工智能/深度學(xué)習(xí)訓(xùn)練性能。

　　正如英特爾? 精選解決方案，我們致力于簡化客戶對(duì)英特爾至強(qiáng)處理器的全棧部署。Apache Spark*上針對(duì)BigDL的全新英特爾? 精選解決方案配置是我們與阿里巴巴、亞馬遜、中國電信、微軟和Telefonica等行業(yè)領(lǐng)先企業(yè)合作的成果，這也是我們從數(shù)百次部署B(yǎng)igDL中獲得的重要經(jīng)驗(yàn)，旨在提供配置讓客戶能夠在現(xiàn)有數(shù)據(jù)湖快速部署人工智能功能。該解決方案涵蓋硬件和軟件組件，是我們第一個(gè)面向人工智能的英特爾? 精選解決方案。

　　采用英特爾? FPGA進(jìn)行實(shí)時(shí)深度學(xué)習(xí)推理

　　挑戰(zhàn)：開發(fā)可靈活擴(kuò)展的實(shí)時(shí)深度學(xué)習(xí)平臺(tái)，可跨多個(gè)微軟用例

　　解決方案：利用英特爾? Arria? FPGA的微軟Project Brainwave*硬件架構(gòu)

　　微軟Project Brainwave是一個(gè)深度學(xué)習(xí)加速平臺(tái)，它是基于自適應(yīng)、節(jié)能、高通量的英特爾FPGA構(gòu)建的。由于其經(jīng)濟(jì)性和極低延遲等特點(diǎn)，Project Brainwave能夠?qū)崿F(xiàn)實(shí)時(shí)推理。在不斷發(fā)展的人工智能環(huán)境中，F(xiàn)PGA能夠重新編程以獲得最高性能，是搜索、語音識(shí)別、視頻分析等很多深度學(xué)習(xí)應(yīng)用中的重要工具。

　　微軟最近推出由Project Brainwave提供支持的Azure機(jī)器學(xué)習(xí)加速硬件。這項(xiàng)服務(wù)讓開發(fā)人員和數(shù)據(jù)科學(xué)家能夠在Azure和邊緣計(jì)算中運(yùn)行實(shí)時(shí)模型，應(yīng)用領(lǐng)域涵蓋制造業(yè)、零售業(yè)和醫(yī)療保健等。

　　微軟還將Project Brainwave應(yīng)用于新的必應(yīng)*搜索功能，以縮短搜索時(shí)間并讓搜索結(jié)果更加智能化。必應(yīng)通過機(jī)器學(xué)習(xí)和閱讀理解能快速提供智能化答案，幫助用戶更快地找到想要的答案，而不是提供鏈接列表讓用戶去手動(dòng)檢查答案。英特爾FPGA能讓必應(yīng)將模型的延遲縮短到10倍以上，同時(shí)將模型尺寸增加10 倍。

　　采用英特爾? Movidius? Myriad? 視覺處理單元，在邊緣端實(shí)現(xiàn)視覺智能

　　挑戰(zhàn)：自動(dòng)捕捉和管理家人、朋友和寵物的動(dòng)態(tài)照片，在邊緣設(shè)備完成視覺處理

　　解決方案：搭載英特爾? Movidius? Myriad? 2視覺處理單元 (VPU)的Google Clips*無線智能相機(jī)

　　借助英特爾Movidius低功耗、高性能的VPU，谷歌實(shí)現(xiàn)了對(duì)Google Clips相機(jī)的構(gòu)想。使用英特爾Movidius Myriad 2 VPU，可以直接在相機(jī)上實(shí)時(shí)運(yùn)行高級(jí)機(jī)器學(xué)習(xí)算法，這可以幫助谷歌完善相機(jī)功能，降低功耗，并支持離線使用。

　　英特爾Movidius VPU的目標(biāo)應(yīng)用包括嵌入式深度神經(jīng)網(wǎng)絡(luò)、姿態(tài)估計(jì)、3D深度感測和手勢/眼睛跟蹤等。隨著“相機(jī)互聯(lián)網(wǎng)”的爆炸式增長，英特爾Movidius VPU為創(chuàng)新應(yīng)用帶來了多種功能。此外在設(shè)備上直接進(jìn)行人工智能處理也更符合隱私和安全保護(hù)的規(guī)范。上述設(shè)備以及未來的英特爾Movidius VPU將繼續(xù)為視頻分析、機(jī)器人和增強(qiáng)現(xiàn)實(shí)等應(yīng)用領(lǐng)域帶來價(jià)值。

　　采用英特爾? Nervana? 神經(jīng)網(wǎng)絡(luò)處理器進(jìn)行新一代訓(xùn)練和推理

　　挑戰(zhàn)：利用全新構(gòu)建的架構(gòu)打破當(dāng)前的系統(tǒng)瓶頸，支持新一代突破性深度學(xué)習(xí)解決方案

　　解決方案：即將上市的英特爾Nervana神經(jīng)網(wǎng)絡(luò)處理器

　　隨著人工智能的發(fā)展，模型的復(fù)雜度不斷增加，對(duì)內(nèi)存的需求也越來越大。深度學(xué)習(xí)的進(jìn)一步發(fā)展需要解決內(nèi)存限制的問題，而當(dāng)前的解決方案無法利用所有可用的計(jì)算，數(shù)據(jù)科學(xué)家和研究人員逐漸意識(shí)到我們需要專用的芯片來支持深度學(xué)習(xí)訓(xùn)練和推理。英特爾Nervana神經(jīng)網(wǎng)絡(luò)處理器提供了一種全新的解決方案，它專門為支持深度學(xué)習(xí)設(shè)計(jì)和構(gòu)建，目的是為了解決內(nèi)存的問題。

　　英特爾Nervana NNP首先考慮內(nèi)存，它采用了大量高帶寬內(nèi)存和SRAM，更靠近實(shí)際進(jìn)行計(jì)算的位置，也就是說芯片上能夠存儲(chǔ)更多的模型參數(shù)，可以有效節(jié)省功耗并提升性能。英特爾Nervana NNP支持大多數(shù)深度學(xué)習(xí)基元，同時(shí)讓核心硬件組件盡可能高效的工作，確保其他應(yīng)用(例如圖形)不會(huì)從深度學(xué)習(xí)應(yīng)用中占用內(nèi)存。此外，英特爾 Nervana NNP的高速片內(nèi)和片外互連支持大規(guī)模雙向數(shù)據(jù)傳輸，能夠在多個(gè)機(jī)箱之間連接多個(gè)處理器，可以作為一個(gè)更大的高效芯片來容納更大的模型，從而獲得更加深入的洞察。

　　英特爾與Lake Crest軟件開發(fā)工具(SDV)方面的主要客戶合作進(jìn)行NNP 開發(fā)、測試和反饋。在推出第一款商用Nervana NNP時(shí)，以上功能都能夠?qū)崿F(xiàn)。隨著人工智能領(lǐng)域的進(jìn)一步發(fā)展，我迫不及待地想從這些突破性芯片中看到英特爾客戶的創(chuàng)新和更多見解。

　　簡化異構(gòu)部署和加速人工智能創(chuàng)新的軟件

　　框架和庫對(duì)于推動(dòng)人工智能的發(fā)展至關(guān)重要，硬件需要同軟件結(jié)合來發(fā)揮最大的效用。英特爾致力于通過普遍適用的多架構(gòu)解決方案，將所有人工智能都集成到一個(gè)軟件集合下。比如開源nGraph編譯器等項(xiàng)目是非常重要的，因?yàn)槲覀儫o需把時(shí)間浪費(fèi)在重新發(fā)明工具上。

　　我們認(rèn)為，英特爾有責(zé)任優(yōu)化軟件，提供工具，讓硬件發(fā)揮最佳性能，并簡化模型開發(fā)和現(xiàn)實(shí)部署之間的流程。利用英特爾開源性能庫，可以從深度學(xué)習(xí)的直接優(yōu)化中獲得更多洞察;深度學(xué)習(xí)編譯器nGraph已經(jīng)開源，能夠跨多個(gè)框架和架構(gòu)運(yùn)行訓(xùn)練和推理;使用OpenVINO?可以快速優(yōu)化預(yù)訓(xùn)練模型，并將視頻神經(jīng)網(wǎng)絡(luò)部署到各種硬件上;BigDL 是運(yùn)行在Apache Spark和Hadoop*集群上的分布式深度學(xué)習(xí)庫，通過BigDL 可以處理大量數(shù)據(jù)。

　　針對(duì)數(shù)據(jù)時(shí)代提供優(yōu)化的客戶解決方案

　　英特爾正在幫助客戶更好地處理每天生成的大量數(shù)據(jù)并從中獲得價(jià)值。我們致力于提供全面的硬件和工具組合，實(shí)現(xiàn)人工智能愿景。在實(shí)際應(yīng)用中，人工智能的復(fù)雜性要求我們將正確的硬件和軟件結(jié)合起來從而實(shí)現(xiàn)成功部署。英特爾擁有業(yè)內(nèi)熟知的全棧實(shí)力技術(shù)生態(tài)系統(tǒng)，提供不同功能工具，推動(dòng)人工智能的發(fā)展。