基于英特爾OpenVINO優(yōu)化，愛(ài)奇藝已將深度學(xué)習(xí)應(yīng)用于視頻產(chǎn)品

隨著 AI 技術(shù)逐漸應(yīng)用于網(wǎng)絡(luò)視頻之中，算力優(yōu)化和平衡成本逐漸成為了視頻平臺(tái)關(guān)注的重點(diǎn)。36氪近期通過(guò)采訪愛(ài)奇藝技術(shù)部門(mén)相關(guān)負(fù)責(zé)人，了解到了 OpenVINO 為愛(ài)奇藝視頻平臺(tái)產(chǎn)品帶來(lái)的體驗(yàn)提升。

事實(shí)上，2018 年 5 月，英特爾便推出了 OpenVINO 工具包，其功能為將計(jì)算機(jī)圖形和深度學(xué)習(xí)推理整合到前沿的視覺(jué)應(yīng)用中。

OpenVINO（開(kāi)放式視覺(jué)推理和神經(jīng)網(wǎng)絡(luò)優(yōu)化）工具包使開(kāi)發(fā)人員能夠基于不同的深度學(xué)習(xí)框架（例如當(dāng)下流行的TensorFlow, MXNet和Caffe等框架），進(jìn)行AI模型優(yōu)化，并將其部署到各種產(chǎn)品中。OpenVINO 的高效得益于英特爾此前投資的多項(xiàng)技術(shù)，包括CPU，F(xiàn)PGA（現(xiàn)場(chǎng)可編程門(mén)陣列）和Movidius視覺(jué)處理單元（VPU）等。

“AI 雷達(dá)”與“蒙版彈幕”

由于愛(ài)奇藝與英特爾是長(zhǎng)期的合作伙伴，所以近期在各端平臺(tái)上推出的“AI 雷達(dá)”和“蒙版彈幕”功能，便已采用了基于 OpenVINO 的 CPU 優(yōu)化方案。

據(jù)愛(ài)奇藝智能平臺(tái)高級(jí)總監(jiān)劉俊暉介紹，AI 雷達(dá)最早是從 TV 端開(kāi)始上線的，用戶(hù)可隨時(shí)在劇集中開(kāi)啟 AI 雷達(dá)，搜索此時(shí)畫(huà)面中的人物、商品及其相關(guān)信息；蒙版彈幕則是通過(guò)機(jī)器視覺(jué)分析出劇集中主要角色的輪廓，并讓彈幕繞過(guò)人物顯示。

由于AI雷達(dá)是實(shí)時(shí)請(qǐng)求的服務(wù)，需要讓TV用戶(hù)快速得到反饋結(jié)果，所以需要按全量部署資源。如果服務(wù)部署在GPU平臺(tái)上，協(xié)調(diào)大量的GPU資源用于滿(mǎn)足峰值服務(wù)調(diào)用會(huì)產(chǎn)生很大的浪費(fèi)，因?yàn)檫@些GPU的利用率在非峰值期間會(huì)很低，且價(jià)格偏高。相比之下，CPU 相對(duì)容易資源協(xié)調(diào)，價(jià)格也低許多。但 CPU 方案同樣具有弱點(diǎn)，就是沒(méi)有優(yōu)化的服務(wù)在 CPU 上的延時(shí)性能沒(méi)法滿(mǎn)足需求。

愛(ài)奇藝基礎(chǔ)架構(gòu)高級(jí)總監(jiān)吳杰珂表示，英特爾的 OpenVINO 工具包便是根據(jù)這類(lèi)需求而推出的。采用 OpenVINO 進(jìn)行優(yōu)化后，AI雷達(dá)服務(wù)中最核心的人臉檢測(cè)模型和人臉識(shí)別模型，延時(shí)性能上可以有大約6～8倍的提升。

基于英特爾 OpenVINO 并從計(jì)算機(jī)視覺(jué)的角度與 AI 結(jié)合應(yīng)用于流媒體，已在愛(ài)奇藝完成數(shù)十個(gè)應(yīng)用的 CPU 優(yōu)化，基于CPU進(jìn)行人工智能服務(wù)的優(yōu)化和部署，提升CPU上人工智能服務(wù)性能最高可達(dá)到10倍以上，數(shù)千核 CPU 服務(wù)的部署，等量替換一百多個(gè) GPU 資源，可降低深度學(xué)習(xí)云平臺(tái)超過(guò) 50% 成本。

另一個(gè)基于 OpenVINO 的產(chǎn)品“蒙版彈幕”，則已經(jīng)在部分劇目上試運(yùn)行了。值得一提的是，如果片源發(fā)生變化，整集的人形分析就需要重新生產(chǎn)，但“及時(shí)更新”意味著大量的AI模型推理需求。

“蒙版彈幕的核心是圖像語(yǔ)義分割，用OpenVINO優(yōu)化之后，推理處理能力大約能有3～4倍的提升，這樣生產(chǎn)能力就得到了大幅提高，更新的頻率就可以更快，能更加及時(shí)地為用戶(hù)提供有蒙版彈幕功能的劇目。”

截至目前，各大視頻平臺(tái)已開(kāi)始陸續(xù)推出“蒙版彈幕”類(lèi)功能，未來(lái)針對(duì)深度學(xué)習(xí)優(yōu)化的工作也將愈發(fā)重要。

GPU、CPU 混用方案

據(jù)了解，對(duì)于人工智能的推理服務(wù)優(yōu)化，除了常見(jiàn)的CPU與GPU計(jì)算資源，愛(ài)奇藝已對(duì)多種使用OpenVINO 進(jìn)行異構(gòu)計(jì)算加速人工智能算法的方案進(jìn)行了開(kāi)發(fā)評(píng)估，包括FPGA、VPU等計(jì)算資源。已完成開(kāi)發(fā)的多種性能自動(dòng)化評(píng)估工具、以及延時(shí)與吞吐最優(yōu)部署自動(dòng)化評(píng)估工具，也大幅提升了對(duì)不同人工智能算法加速與優(yōu)化的開(kāi)發(fā)效率。

GPU、CPU混用的方案，能夠在不同情況下切換算力硬件，滿(mǎn)足視頻平臺(tái)的各種需求。

以愛(ài)奇藝的 AI 布局為例，公司里面CPU的資源池要比GPU的資源池大得多，CPU池子比較容易做負(fù)載的調(diào)度，從而得到較強(qiáng)的抗高峰能力；另一方面，非高并發(fā)情況下，整體基于CPU的推理成本也比GPU要低很多，吳杰珂介紹道。

在OpenVINO調(diào)整好（準(zhǔn)確率和延時(shí)）之后，平臺(tái)整體獲得了6~8倍的延時(shí)性能的提升，基本已接近純GPU方案的性能了。

吳杰珂表示，OpenVINO 工具包自面世以來(lái)也一直在優(yōu)化，在特定應(yīng)用和場(chǎng)景下，GPU和CPU各有優(yōu)略，另外，除了后臺(tái)應(yīng)用，OpenVINO還能在前端如Window設(shè)備上落地優(yōu)化方案。所以，對(duì)于愛(ài)奇藝來(lái)說(shuō)，兩種硬件混合調(diào)用的方案能夠?qū)?yōu)勢(shì)結(jié)合，且通過(guò)長(zhǎng)期優(yōu)化硬件的布局?jǐn)?shù)量，能夠持續(xù)提升性?xún)r(jià)比。

值得一提的是，英特爾這幾年在人工智能領(lǐng)域的投入逐年升高，在并購(gòu)Altera后不到一年，又并購(gòu)了Movidius公司。未來(lái)，愛(ài)奇藝也將和英特爾開(kāi)展更多合作。

“神經(jīng)網(wǎng)絡(luò)計(jì)算棒可能是這家公司給大部分人的第一印象，現(xiàn)在在京東上大約550元和750元就可以分別買(mǎi)到第一代和第二代計(jì)算棒。我們也正在對(duì)基于Movidius芯片的方案進(jìn)行評(píng)估，當(dāng)然，不是計(jì)算棒，而是單板集成多片Movidius芯片的推理加速板卡。”

想要查看更多OpenVINO相關(guān)技術(shù)與資料，請(qǐng)戳>> http://www.ex-cimer.com/openvino