一文看懂英特爾2018視覺解決方案及策略，OpenVINO是關鍵

五月份時，英特爾宣布推出OpenVINO工具包，它主要應用于將計算機圖形和深度學習技術整合到前沿的視覺應用中。OpenVINO全稱為開放式視覺推理和神經網絡優(yōu)化（Open Visual Inference & Neural Network Optimization），其前身是英特爾計算機視覺SDK（Computer Vision SDK），通過工具包中集成的三個全新API：深度學習部署工具包、通用的深度學習推理工具包以及OpenCV和OpenVX的優(yōu)化功能，支持TensorFlowMXNet和Caffe框架。顧名思義，OpenVINO的推出，標志著英特爾將計算機視覺與AI完美融合，并且是全開放式的融合。

日前，英特爾舉辦以“智能端到端,英特爾變革物聯網”為主題的視覺解決方案及策略發(fā)布會,正式宣布推出OpenVINO。發(fā)布會邀請到英特爾物聯網事業(yè)部中國區(qū)總經理陳偉博士，英特爾中國區(qū)物聯網事業(yè)部首席技術官兼首席工程師張宇博士，英特爾中國銷售總經理王稚聰以及相關合作伙伴，就OpenVINO如何幫助結合人工智能與機器視覺的物聯網應用快速落地進行了一系列介紹與討論。

英特爾中國區(qū)物聯網事業(yè)部首席技術官兼首席工程師張宇博士表示，英特爾CV SDK只做編解碼加速，通過引入Movidius SDK，OpenVINO可以做一個完整的視頻處理系統(tǒng)，從編解碼到深度學習或者是計算機視覺處理等，讓開發(fā)者只用一個工具把所有的需求都能滿足所有需求。

此前，英特爾為布局AI花費了大量的人力物力，從平臺，到框架再到庫和硬件，英特爾實現了人工智能全棧式解決方案。

此次發(fā)布的OpenVINO，是英特爾針對視覺AI領域的一次重要革命。

為什么是視覺技術？

在智能端到端的物聯網領域，英特爾要通過視覺發(fā)起這場AI革命。

英特爾副總裁兼物聯網事業(yè)部中國區(qū)總經理陳偉博士表示，選擇專注于視覺戰(zhàn)略，首先是視覺處理市場不斷蓬勃發(fā)展的數據擠壓到了存儲和寬帶的要求，因此在邊緣計算端有極大的需求，英特爾很早以前就看到了這個態(tài)勢，因此一直致力于云端和邊緣端兩方向同時發(fā)展，實現邊云協和的分布式架構。

第二個原因則是由于計算分析能力和存儲能力所限，目前數據有大部分被浪費掉了，并沒有進行深度挖掘，所以邊緣計算對于未來的數據分析至關重要。

第三，則是深度學習市場被充分打開，陳偉引用了一組數據表示，2016年深度學習市場收入為6.55億美元，預計到2025年將增長至350億美元。

陳偉博士，英特爾副總裁兼物聯網事業(yè)部中國區(qū)總經理

那么我們到底需要什么樣的邊緣計算呢？陳偉表示，實時性、低成本、強大的分析和預測能力以及精準、安全保密的邊緣計算是業(yè)界所達成的共識。

“眼見為實，視頻的數據量是最大的，同時也是最復雜的，人一輩子幾十年就是人工智能最好的解說，人們通過觀察來訓練大腦、同理，現在的邊緣計算機也可以用視頻區(qū)模仿人的能力。在英特爾物聯網事業(yè)部，我們把視頻技術當成是一個橫向的技術，是英特爾的一個主要戰(zhàn)略。”陳偉說道。

不過陳偉同時強調，邊緣計算與人工智能的結合并不是一件容易的事。一個是數據量巨大，一個是碎片化的市場，只有技術平臺化才能解決這一系列問題。英特爾幾年間在硬件上持續(xù)努力布局，隨著現在OpenVINO工具套件的發(fā)布，標志著英特爾的視覺處理市場生態(tài)鏈有了最強大的軟件平臺支撐。

陳偉表示，OpenVINO近幾個月和中國市場的合作伙伴進行了緊密的合作、開發(fā)與優(yōu)化，此次的首發(fā)也只是起點，未來還將對不同硬件進行優(yōu)化和整合，包括模型和插件的完善、充實與優(yōu)化等工作。

正如陳偉所說，工欲善其事、必先利其器，搭配英特爾廣泛的處理器和OpenVINO開發(fā)工具，就是AI視覺市場的器。

OpenVINO的特點及意義

英特爾中國區(qū)物聯網事業(yè)部首席技術官兼首席工程師張宇博士詳細介紹了OpenVINO的特點。

英特爾中國區(qū)物聯網事業(yè)部首席技術官兼首席工程師張宇博士

張宇表示，目前在系統(tǒng)端到端的網元中，所能提供的計算量是不一樣的，它能夠支撐的操作系統(tǒng)也各不相同的，因此有各自不同的芯片架構。比如在攝像機里，一個攝像機的功耗大概15瓦，從15瓦里能夠提供給做智能運算的能量有2-3瓦，對于這樣的使用場景，類似于ASIC這樣的架構是最適宜的。但到了數據中心側，由于需要一定的靈活度，因此通用處理器更適合?！安煌W元有不同適宜的架構，不同芯片有各自不同的開發(fā)方法和環(huán)境，這樣對開發(fā)者而言就帶來一定的困擾，無形中增加了開發(fā)的門檻。”張宇說道。

張宇舉例了幾個目前人工智能開發(fā)時的共識問題，其表示：“作為開發(fā)者，已經有了經過訓練的網絡模型，但是由于推理平臺能力有限，只能把網絡模型的一部分放到推理平臺之上，又或者想要提升終端性能但不知道該如何選型，以及目前使用的人工智能框架不被英特爾的產品支持，無法導入到Movidius或者FPGA平臺?！?/p>

而OpenVINO正是為解決如上問題所推出的，他是一個高性能計算機視覺和深度學習視覺應用開發(fā)的工具套件，能夠支持英特爾平臺的各種加速器，包括CPU、GPU、FPGA以及Movidius的VPU等，支持異構計算，目標人群是軟件開發(fā)人員以及開發(fā)、監(jiān)控、零售、醫(yī)療、辦公自動化以及自動駕駛等領域的數據科學家。

OpenVINO工具包組成

張宇表示，目前在計算機視覺處理領域，有兩類方法，一類是深度學習，一類是傳統(tǒng)計算機視覺，在物體檢測、目標識別等方面深度學習已經開始嶄露優(yōu)勢，替代傳統(tǒng)的計算機視覺，然而在其他視覺領域，包括光流計算或圖像增強等依然是傳統(tǒng)的計算機視覺處理方法更有優(yōu)勢。所以，OpenVINO支持這兩種實現方式。

OpenVINO的深度學習部署工具套件，可以幫助開發(fā)者把已經訓練好的網絡模型部署到目標平臺之上進行推理操作。

目前深度學習部署工具套件主要包括兩個網元，一個網元是模型優(yōu)化器，另外一個是推理引擎。其工作原理是通過模型優(yōu)化器把開發(fā)者經過深度學習框架所開發(fā)的網絡模型，針對選用的目標平臺進行優(yōu)化，優(yōu)化結果轉換成中間表示文件，建成IR文件。IR文件中包含優(yōu)化以后的網絡拓撲結構，以及優(yōu)化之后的模型參數和模型變量。

模型優(yōu)化器是由Python語言編寫的，不僅僅能夠實現Caffe、Tensor Flow、MxNet上框架之上的模型導入，還可以根據模型進行優(yōu)化。尤其是在通用處理器上做的訓練結果，如果部署到資源受限的嵌入式推理平臺之上，必須進行相應的優(yōu)化。

張宇舉例到，在做訓練的時候，有可能會存在一個Dropout層，主要的作用是在訓練的過程中，把一定比例的神經元失效，這樣可避免在訓練過程中模型參數陷入一個局部的極小值，而達不到一個最優(yōu)的效果，但在做推理時，所有神經元都要參與計算，所以Dropout層是沒有必要的，因此OpenVINO可以自動發(fā)現Dropout層并將其剔除。另外，對于一些激活函數的優(yōu)化，包括神經網絡模型中的卷積層，全鄰接層，激活函數層等，都可以交由模型優(yōu)化其進行優(yōu)化。目前模型優(yōu)化器已經驗證了超過150個在Caffe、MxNet和Tensor Flow上所設計的模型。

優(yōu)化之后，推理引擎會讀取IR文件，之后會根據選用的目標平臺選擇相應的硬件插件將IR文件下載到目標平臺上進行執(zhí)行，目前OpenVINO的插件包括CPU插件，GPU插件，FPGA插件以及Myriad VPU插件，在驗證完畢之后就可以把推理引擎和中間表述文件一起下載到或集成到最終應用里進行部署。

推理引擎實際上是一套C++函數庫以及C++的類，從而實現對輸入數據的處理，并得到最終的結果。推理引擎是經過統(tǒng)一的API接口，支持所有英特爾處理器架構，實現深度學習推理所需要的操作。這些操作包括對數據的讀取，對輸入輸出數據格式的定義以及調用相應的硬件的插件。

OpenVINO優(yōu)化部署過程

利用OpenVINO之后，可以看出FPS幀數性能得到顯著提升

在OpenVINO里，還包含一個傳統(tǒng)的計算機視覺工具庫，其中包含了經過預編譯的，而且在英特爾CPU上已經經過優(yōu)化的OpenCV 3.3版本。張宇提到了一個小插曲，作為計算機視覺領域應用廣泛的OpenCV，全稱為Intel Open Source Computer Vision Library，于1999年由Gary Bradsky在英特爾位于俄羅斯的研究實驗室開發(fā)，它是一套可免費獲得的由一些C函數和C＋＋類所組成的庫，第一個版本于2000年問世。隨后Vadim Pisarevsky加入了Gary Bradsky，主要負責管理英特爾的俄羅斯軟件OpenCV團隊。2005年，OpenCV被用于Stanley車型，并贏得2005年DARPA大挑戰(zhàn)。后來，它在Willow Garage的支持下持續(xù)并積極發(fā)展，轉為由Gary Bradsky和Vadim Pisarevsky領導該項目。2016年，英特爾收購機器視覺初創(chuàng)公司Itseez，擴充了OpenCV領域的人才。

除了OpenCV，在OpenVINO?還包含了對OpenVX以及OpenVX在神經網絡擴展的支持，同時在媒體、視頻、圖像處理領域也包含了英特爾媒體軟件開發(fā)套件，可以幫助開發(fā)者方便的利用英特爾CPU里面的集成顯卡資源來實現視頻的編碼、解碼以及轉碼的操作。

OpenVINO支持包括Windows 10，Ubuntu以及CentOS在內的多種操作系統(tǒng)。

OpenVINO支持開發(fā)環(huán)境一覽

張宇強調道，OpenVINO是分層開發(fā)的，不同開發(fā)者可根據自己需求和開發(fā)能力選擇不同的API接口進行調用OpenVINO。顧典，英特爾技術專家表示表示，OpenVINO中包含Open Model Zoo，這不是一個簡單的網絡參考，而是基于網絡的組合和融合，把具體的客戶的應用實例開發(fā)出來，當然這個開發(fā)實例不是完整完善的應用，這只是一個參考，但客戶完全可以基于Open Model Zoo現成的應用樣本進一步的做好開發(fā)。

對此，張宇總結道，對于新手來說，OpenVINO包含了很多應用示例，即便不了解算法和硬件底層實現，也可以直接調用相關參考從而實現應用。而對于一些特定應用場景來說，如果有了一些特定應用算法但沒有開發(fā)人工智能網絡的能力，也可以使用OpenVINO把特定的開放網絡、標準網絡執(zhí)行在英特爾硬件上從而實現快速開發(fā)。而對于高級用戶，可以在Caffe 、Tensor Flow、MxNet等框架下設計好自己的網絡模型，然后用OpenVINO的模型優(yōu)化器和推理引擎轉換成硬件可識別語言，再下載到平臺上進行執(zhí)行。如果是超級用戶，OpenVINO也支持直接調用硬件底層的接口實現對硬件直接的訪問。

OpenVINO適合各類層級的開發(fā)者使用

英特爾技術專家顧典表示，此次OpenVINO SDK和以往發(fā)布有一個細節(jié)不一樣，就是更新非?？欤衲晗掳肽闛penVINO預計有兩次重大更新，這也是為了迎合人工智能和深度學習市場快速發(fā)展的態(tài)勢。

OpenVINO工具套件優(yōu)勢總結，包括提高性能、整合深度學習、加速開發(fā)和支持創(chuàng)新與定制

在視覺處理市場，英特爾要專注哪些領域？

英特爾中國銷售總經理王稚聰表示，英特爾計算機視覺解決方案主要面向六大應用場景：

交通監(jiān)控。采用英特爾FPGA和Movidius VPU的攝像頭可捕捉數據，并自動將其發(fā)送至下游十字路口系統(tǒng)，幫助交通部門優(yōu)化交通和做好規(guī)劃。這些信息可通過車載系統(tǒng)或應用直接傳達給司機，幫助他們規(guī)劃路線。

公共安全。借助使用OpenVINO工具包開發(fā)的Myriad VPU和算法，經過訓練的深度神經網絡現在可利用推理功能通用面部識別分析并識別失蹤兒童。采用了這一技術的城市執(zhí)法機構可在經過訓練的數據集匹配到人群中已報告失蹤兒童的臉部時，即時收到相關通知。

工業(yè)自動化。英特爾視覺解決方案可幫助智能工廠融合OT和IT，重塑工業(yè)業(yè)務模式和增長戰(zhàn)略。生產控制將可自動、流暢運轉，縮短上市時間。

機器視覺。借助人工智能增強工業(yè)機器視覺，支持更精準的工廠自動化應用。解決方案組合攝像頭、電腦和算法，以分析圖像和視頻，在邊緣提供可以用于指導行動的重要信息。

響應式零售。在邊緣使用英特爾計算機視覺解決方案的零售商，可以快速識別特定客戶或客戶行為模式，從而提供個性化的精準營銷服務。

運營管理。通過使用基于英特爾架構的計算機視覺解決方案，零售商可簡化運營、管理庫存、優(yōu)化供應鏈和增強推銷能力，并幫助他們發(fā)掘數據的更高價值。

英特爾中國銷售總經理王稚聰

合作伙伴是怎么說的？

為了證明在視覺處理市場的決心，英特爾特別邀請眾合作伙伴為其證言，誓將視覺處理市場的生態(tài)系統(tǒng)打造成另外一個計算機市場的蓬勃發(fā)展的生態(tài)產業(yè)鏈。

對于合作伙伴來說，是否認可英特爾的OpenVINO和AI視覺市場策略呢？英特爾合作多年的老朋友們是這么說的。

云從科技項目總監(jiān)李軍表示，公司2017年開始進入機場項目時，制定了一個策略就是三個月之內將業(yè)務全面推廣，在這么一個緊急的時間關口中，并沒有太多選擇，所以云從科技選擇了英特爾的平臺。事實證明這個選擇對業(yè)務的推進幫助很大?！坝⑻貭朮86架構中的并行計算模塊，以及OpenVINO中的核心模塊幫助我們在人工智能以及其他行業(yè)的廣泛應用打下了基礎，讓我們可以更快速的進行開發(fā)。目前我們的這款產品能夠在幾十家行業(yè)客戶，以及幾百個行業(yè)網點中做推廣，也是有賴于英特爾成熟的生態(tài)體系。如果想用一款產品同時支持幾十家不同客戶需求時，無論是算法還是應用都變得異常復雜，只有選擇合適的平臺才可以得心應手?！?/p>

浙江大華技術股份有限公司研發(fā)中心副總裁殷俊說道，2011年大華和英特爾聯合發(fā)布首款NVR，把大量的數據存儲在VMS上，實現了百路接入，一臺機器就可以解決一百路以上的存儲。當人工智能在安防行業(yè)及其他視覺處理市場的突飛猛進，這個時候Movidius出現，大華便采用Movidius做了一款工業(yè)相機，用于產線缺線檢測及物品的識別和分類等應用。后來，Movidius又進入安防領域，做了人臉相機、事件檢測分析及行為分析等應用，進一步的則是拿熱成像將紅外傳感器數據接入Movidius，實現了測溫、森林防火、邊境線檢查、環(huán)保、視頻會議等豐富多彩的新興業(yè)務拓展。

2017年，英特爾收購了Altera之后，作為Altera多年合作伙伴的大華，繼續(xù)和英特爾保持良好的合作關系，在FPGA平臺上開發(fā)NVR，實現人臉識別等應用。而今年，Myriad X的發(fā)布，又讓大華和英特爾產生了新的碰撞。

“我們從NVR、云上、中心側都采用了英特爾的產品，但是我們始終發(fā)現開發(fā)工作量巨大，Movidius開發(fā)工具、英特爾開發(fā)工具、GPU開發(fā)工具以及FPGA的開發(fā)工具沒法統(tǒng)一。我們和英特爾一直在探討一個問題，那就是未來軟件將是重要環(huán)節(jié)，甚至將超越硬件。因為芯片只是解決了計算能力和性能，但軟件決定了它的好用和易用性。OpenVINO工具將幫助我們未來在產品化和跨平臺開發(fā)上的統(tǒng)一，加快廠商解決方案的部署。通過我們的實裝體驗，OpenVINO不只是簡單的編譯工具，更是行業(yè)優(yōu)秀的生態(tài)工具?！币罂≌f道，“未來大華的定位是智慧物聯廠商，因此我們將繼續(xù)重點投入以視頻為核心的業(yè)務，利用人工智能處理大批量數據，賦能行業(yè)，賦能客戶?！?/p>

宇視研發(fā)副總裁AI產品線總監(jiān)湯立波表示，作為年輕的宇視科技來說，能夠得到英特爾對合作伙伴的戰(zhàn)略支持非常重要。宇視科技能夠在短時間內成長為全球安防行業(yè)的第六名，這和英特爾是分不開的。公司成立伊始就與英特爾建立良好的戰(zhàn)略合作伙伴關系，所有的云端設備包括大數據服務器、應用服務器、存儲服務器等，全部采用了英特爾的CPU。而進入人工智能時代之后，憑借英特爾在人工智能時代的布局，為宇視科技等公司提供了一系列硬件平臺以及CVSDK和OpenVINO這類工具包，讓公司可以更高效、更快速來開發(fā)人臉識別、物體識別、車輛識別等方案，將各種算法落地到端到端的產品中去。

目前，宇視科技基于英特爾的硬件平臺及開發(fā)工具，實現了接入端到邊緣計算端以及云端的全布局。

“兩三年前，宇視科技剛剛把產品賣到海外時，因為芯片和操作系統(tǒng)之間時區(qū)不匹配的問題，服務器產生了大量的問題，但英特爾專門派團隊協助我們快速解決問題。也正是因為英特爾給了我們的幫助，可以讓我們快速成長起來?！睖⒉ū硎尽?/p>

湯立波認為，目前圖像處理是一個多算法融合的場景，因此需要不同的硬件平臺，但對于小公司來說，很難一站式滿足所有的平臺需求。此外，對于產業(yè)界來說，需要的是成熟且供貨穩(wěn)定的產品，這需要對芯片具有豐富產業(yè)經驗的企業(yè)。“整個產品開發(fā)過程中，困難的地方不是開發(fā)，而是如何解決問題，所以只有一個非常有經驗的企業(yè)才能夠做出來一款穩(wěn)定、能夠快速解決問題的用于產品化的芯片?！?/p>

而對于OpenVINO的價值，湯立波表示：“坦誠來說，OpenVINO具有一定的學習成本，需要先期投入，但從產出來看，OpenVINO有幾個非常重要的價值。首先是節(jié)約了大量的開發(fā)成本，避免在不同硬件平臺上浪費大量重復性開發(fā)工作。第二則是切實加速產品化過程。圍繞在英特爾周圍，有很多視覺行業(yè)相關公司，但并不是所有公司都擅長工具開發(fā)，絕大部分還是以人工智能視覺處理為核心的算法、應用軟件、硬件產品形態(tài)和解決方案等，所以OpenVINO的推出，可以讓生態(tài)圈里的廠商獲得更好的回報與更多的應用落地。比如宇視科技，技術競爭力在基于英特爾芯片的分布式計算和集群調度之類，而在商業(yè)競爭力上則是善于做精準打擊。在人工智能領域，我們會專門面向某個場景做精準打擊，會基于OpenVINO來做算法的訓練，當訓練到極致時、產品性能達到極致、產品形態(tài)達到極致時，競爭力自然形成了?！?/p>

科達研究院執(zhí)行院長曹李軍說道，十年前科達研究院就和英特爾展開了合作，2012年采用傳統(tǒng)的機器視覺算法，推出了一系列智能產品，到2017年上半年，所有產品都切換到了深度學習平臺上。

目前科達開發(fā)出基于第六代酷睿的智能NVR產品，除了具有現有NVR所有功能之外，還增加了人臉比對庫、車牌庫，用戶可以根據需要來設定預警和報警規(guī)則，包括人臉黑白名單，以圖搜圖，人員檢索，車牌的黑白功能、屬性檢索等，這些都離不開英特爾的CPU加OpenVINO的技術?！吧疃葘W習網絡模型是以大規(guī)模數據經過千萬次的迭代而形成的結果，轉換過程對于我們來說是黑盒，如果要進行模型優(yōu)化確實需要對算法進行更深入的了解。OpenVINO可以幫我們把整個推理和計算過程可視化，為模型優(yōu)化和多模型的推理提供了很大的幫助。特別是讓我們知其然，也知所以然?！?/p>

中科英泰副總裁劉福利表示，公司從CVSDK起就開始使用，目前已經開發(fā)了三款產品，包括無人便利店的人臉識別和商品識別，智能掃描結賬功能，消費者行為分析等產品?！靶铝闶垭x不開三大場景，包括對人識別的智慧化，商品的智能化識別以及通過對人、對物的智能化識別基礎上，創(chuàng)新出的消費場景，而這些都離不開創(chuàng)新的技術支持。英特爾逐漸從芯片公司走向了多元化、智能化、軟件解決方案發(fā)展多元的公司，也讓我們可以在新零售行業(yè)中不斷地創(chuàng)新出更多的智慧化的產品?！?/p>

大疆創(chuàng)新科技資深產品專家William Wu表示，大疆為了滿足行業(yè)應用客戶的豐富需求，使用了英特爾CPU開發(fā)了一款無人機的機載航空電腦，使用這款機載航空電腦，就可以結合大疆的SDK在無人機上實時在線的進行運算、處理、采集、分析和控制的任務?！霸跓o人機領域，串行計算和并行計算是共存的，我們很難找到一家可以同時提供這兩者的供應商，英特爾平臺給我們提供了強大的創(chuàng)新計算能力，使得在無人機上在線進行行業(yè)定制化自主飛行場景成為了可能。OpenVINO工具則能夠使無人機機載航空電腦上更好的發(fā)揮出CPU核顯的并行計算能力，這種串行計算和并行能力共存的機載計算平臺也可以更好的貼近了行業(yè)應用客戶?！?/p>

阿里巴巴OS事業(yè)部智能硬件研發(fā)負責人馬飛飛表示，AliOS和OpenVINO的碰撞發(fā)生在電子座艙計劃中，阿里巴巴希望電子座艙不只是娛樂和信息系統(tǒng)，還需要引入增強現實技術，實時提供車道檢測、前遮、碰撞檢測以及實施景物提示等功能。

“我們的核心網絡前端是一個Encoder，它會生成若干的Feature Map，之后傳給Decoder，Decoder分為兩路，一路做車道檢測，采用了語義分割的網絡，第二路是來做物體檢測和識別，比人、車、物等等。我們在Apollo Lake平臺上起初只能達到每幀270毫秒的處理速度，后來通過采用OpenVINO之后，平均幀處理時間降低到了30毫秒，實現了流暢的駕駛體驗?！瘪R飛飛說道。

馬飛飛總結道：“OpenVINO可以把客戶的軟件和硬件非常好的結合在一起，用AI的術語來講，損失函數降到了最低值，而套用一句論語的話來講就是，“質勝于文則野，文勝于質則史，文質彬彬，此君子所為也?！薄?/p>

“欲窮千里目，更上一層樓，我們總希望借助視頻的能力，使得我們自己、使得全人類能夠站得更高、看得更遠、看得更清，我相信通過英特爾和合作伙伴攜手努力，通過OpenVINO軟件工具以及英特爾各種架構的硬件能力的具體體現，能夠幫助我們更上一層樓，從而能夠看得更遠、更清、更準。”王稚聰暢享道。

想要查看更多OpenVINO相關技術與資料，請戳>> http://www.ex-cimer.com/openvino