OpenVINO? 再升級(jí)：英特爾為AI創(chuàng)新插上翅膀

40年前，個(gè)人電腦的問(wèn)世將強(qiáng)大的計(jì)算能力壓縮至人們的桌面。20年前，智能手機(jī)的誕生拉近了人與人之間的距離。今天，AI 助手悄無(wú)聲息地滲透到我們的生活，改變著我們與世界互動(dòng)的方式。

在上周剛剛落幕的 OpenVINO? DevCon 中國(guó)系列工作坊北京站活動(dòng)上，眾多行業(yè)先鋒和創(chuàng)新者們展現(xiàn)了 AI 技術(shù)在多個(gè)領(lǐng)域的實(shí)際應(yīng)用。一個(gè)明顯的趨勢(shì)是：無(wú)論是行業(yè)領(lǐng)軍企業(yè)還是獨(dú)立開發(fā)者，無(wú)一不在全力以赴地“All In AI”。這些創(chuàng)新的解決方案，不僅標(biāo)志著當(dāng)前各行業(yè)對(duì)AI的應(yīng)用正進(jìn)入爆發(fā)式增長(zhǎng)階段，也預(yù)示著 AI 將與我們的生活更緊密地聯(lián)系在一起——從職場(chǎng)到家庭，從醫(yī)療到娛樂(lè)，開啟一個(gè)充滿可能性的未來(lái)。

OpenVINO? 2024.4 版上線，支持最新英特爾? 酷睿? Ultra 處理器（第二代）并顯著提升大語(yǔ)言模型推理性能

英特爾 OpenVINO? ，作為一款先進(jìn)的 AI 工具套件，為開發(fā)者們提供了實(shí)現(xiàn)理想的 AI 部署的平臺(tái)。英特爾不斷優(yōu)化其性能，特別是提升其在PC和小型設(shè)備上運(yùn)行大語(yǔ)言模型（LLM）的能力。最新發(fā)布的 OpenVINO? 2024.4 版本，為開發(fā)者帶來(lái)了諸多關(guān)鍵功能和性能改進(jìn)，旨在確保大語(yǔ)言模型在所有場(chǎng)景中，無(wú)論是邊緣計(jì)算還是數(shù)據(jù)中心，都能實(shí)現(xiàn)卓越的 AI 性能。

首先，OpenVINO? 2024.4 版本的一大亮點(diǎn)是新增了對(duì)最新英特爾? 酷睿? Ultra處理器（第二代）的支持：

● 在客戶端技術(shù)方面，支持全新的 Xe2 GPU 架構(gòu)，該架構(gòu)搭載于最新發(fā)布的英特爾? 酷睿? Ultra 處理器（第二代）平臺(tái)，并由英特爾? Xe矩陣擴(kuò)展（英特爾? XMX）加速技術(shù)驅(qū)動(dòng)。Xe2 架構(gòu)在處理計(jì)算密集型任務(wù)，例如矩陣乘法方面，能夠帶來(lái)顯著的性能提升，對(duì)于加速大語(yǔ)言模型的部署至關(guān)重要。

● 英特爾? 酷睿? Ultra 處理器（第二代）還引入了一個(gè)更強(qiáng)大的神經(jīng)處理單元（NPU），其推理吞吐量相較前一代有重大升級(jí)。

在模型優(yōu)化和內(nèi)存管理方面，OpenVINO? 2024.4 版本有效降低了 AI 部署的成本，優(yōu)化了內(nèi)存使用，并顯著減少了延遲。

● 創(chuàng)建了高度優(yōu)化的 GPU 原語(yǔ)，如縮放點(diǎn)積注意力和旋轉(zhuǎn)位置嵌入，有效降低執(zhí)行復(fù)雜 AI 操作的成本。此外，對(duì)內(nèi)存管理進(jìn)行了改進(jìn)，更高效地支持帶有壓縮權(quán)重的模型，使得大語(yǔ)言模型能夠在資源受限的環(huán)境中，如筆記本電腦和邊緣設(shè)備上，能夠以最小的內(nèi)存占用運(yùn)行。

● 在英特爾? 至強(qiáng)? 處理器上運(yùn)行時(shí)， OpenVINO? 現(xiàn)支持由 Open Compute Project 規(guī)范定義的 mxfp4 格式，這使在運(yùn)行大語(yǔ)言模型時(shí)，相比于 BF16 精度，能夠減少內(nèi)存消耗，同時(shí)提高處理第二個(gè) Token 的延遲性能。

在模型支持方面，OpenVINO? 2024.4 覆蓋更多生成式 AI。

● 支持 GLM-4-9B Chat, MiniCPM-1B, Llama 3 和 3.1, Phi-3-Mini, Phi-3-Medium 以及 YOLOX-s 模型，并新增了一系列值得關(guān)注的 Notebook。

● 與 Hugging Face 合作，更新了 Optimum-Intel 解決方案，使得在利用 Hugging Face API 運(yùn)行模型的同時(shí)，能夠使用 OpenVINO? 高效地導(dǎo)出和壓縮模型，以供 OpenVINO? GenAI 套件 API 使用。

OpenVINO? DevCon 盡顯社區(qū)創(chuàng)新活力，背包里的 AI PC 定義智能新紀(jì)元

今年，OpenVINO? 發(fā)布了多個(gè)更新版本，且持續(xù)通過(guò)與開發(fā)者的交流和互動(dòng)，將行業(yè)趨勢(shì)與OpenVINO? 的最新技術(shù)帶給開發(fā)者，助力開發(fā)者系統(tǒng)進(jìn)階。在近日舉辦的OpenVINO? DevCon中國(guó)系列工作坊北京站中，數(shù)百位開發(fā)者親臨現(xiàn)場(chǎng)，探討了“OpenVINO? 加速PC及小型設(shè)備性能”的應(yīng)用潛力，并展示了他們?cè)谡Z(yǔ)音智能交互、媒體娛樂(lè)、醫(yī)療分析等領(lǐng)域利用OpenVINO? 實(shí)現(xiàn)的創(chuàng)新成果。

人形機(jī)器人展示：將大模型“裝進(jìn)”AI PC，小巧機(jī)身濃縮超級(jí)智慧

在機(jī)器人領(lǐng)域，一個(gè)核心挑戰(zhàn)在于：如何將復(fù)雜的AI大模型部署到資源受限的本地硬件，賦予機(jī)器人以智慧的“生命”。這一挑戰(zhàn)猶如將一頭大象塞進(jìn)狹小的冰箱，不僅考驗(yàn)技術(shù)的高度，更要求在成本和性能之間尋找到最優(yōu)的解決方案。

OpenVINO? 通過(guò)模型的量化、壓縮和加速，降低了 AI 大模型在邊緣設(shè)備上的運(yùn)行負(fù)擔(dān)，并通過(guò)支持多硬件平臺(tái)，實(shí)現(xiàn)了計(jì)算資源的高效利用，使在 AI PC 輕薄筆記本上運(yùn)行大型模型成為可能。當(dāng)這些 AI 大模型與機(jī)器人、機(jī)械臂等硬件結(jié)合，它們就仿佛被賦予了生命，能夠聽懂人類的復(fù)雜指令，機(jī)智應(yīng)對(duì)各種挑戰(zhàn)，展現(xiàn)著智能機(jī)器人的無(wú)限潛力。

對(duì)話式AI語(yǔ)音助手：聊天只是開胃菜，超級(jí)助理才是真身份

對(duì)話式 AI 語(yǔ)音助手已經(jīng)在我們的日常生活中扮演越來(lái)越重要的角色。事實(shí)上，隨著智能化程度不斷加深，這些 AI 助手正走進(jìn)醫(yī)療、教育、金融等多個(gè)領(lǐng)域，為各行各業(yè)的帶來(lái)效率提升。

例如，在醫(yī)院場(chǎng)景中，患者通常需要在候診室等待數(shù)小時(shí)，而醫(yī)生則被迫在幾分鐘內(nèi)完成診斷。如何優(yōu)化就診流程，成為了緩解醫(yī)患矛盾的關(guān)鍵?；?OpenVINO? 搭建的大語(yǔ)言模型對(duì)話式 AI 助手，能夠幫助醫(yī)院改善這一狀況。AI 語(yǔ)音助手通過(guò)語(yǔ)音識(shí)別和大型語(yǔ)言模型，在患者踏入診室之前就能與患者展開交流，收集其癥狀信息，并為醫(yī)生制作詳細(xì)的病例總結(jié)。如此，當(dāng)患者進(jìn)入診室，醫(yī)生便能夠直接進(jìn)入診斷的核心環(huán)節(jié)，極大地縮短了就診時(shí)間，提升了患者滿意度。

與直播息息相關(guān)：AI化身美顏大師，數(shù)字人與未來(lái)共舞

在視頻直播盛行的今天，智能美顏和數(shù)字人技術(shù)已成為行業(yè)的標(biāo)配。但如何降低相關(guān)技術(shù)的開發(fā)門檻和成本仍是行業(yè)持續(xù)探索的議題。如今借助英特爾 OpenVINO?，相芯科技讓 AI 數(shù)字人和 AR 視頻特效技術(shù)實(shí)現(xiàn)了更低成本的部署。

例如，在視頻互動(dòng)中，OpenVINO? 極致的優(yōu)化能力結(jié)合相芯在 AI 美顏方面的多年積累，在 AR 視頻特效方面實(shí)現(xiàn)了出色的效果。AI 在美顏時(shí)不僅能準(zhǔn)確識(shí)別和修飾面部的細(xì)微瑕疵，如雀斑、痘痘，還能巧妙保留用戶的個(gè)人特色，確保美顏效果既真實(shí)自然又富有個(gè)性魅力。

依托 OpenVINO? 構(gòu)建的 AI 數(shù)字人產(chǎn)品，也正被廣泛應(yīng)用于在線教育、遠(yuǎn)程辦公、直播帶貨、社交娛樂(lè)等多個(gè)領(lǐng)域。OpenVINO? 通過(guò)優(yōu)化的開發(fā)框架，提高了模型的轉(zhuǎn)換速度和壓縮率，不僅降低了資源消耗和成本門檻，還確保了模型在不同硬件平臺(tái)上高效運(yùn)行。從教育啟迪到娛樂(lè)陪伴，從工作輔助到情感交流，數(shù)字人應(yīng)用的深度和影響力不斷加深。

當(dāng) AI 走進(jìn)日常生活：減負(fù)、傳承…指尖智慧締造美好生活

OpenVINO? 不僅推動(dòng)著行業(yè) AI 應(yīng)用的發(fā)展，更為眾多獨(dú)立開發(fā)者提供了施展才華和創(chuàng)意的平臺(tái)。從技術(shù)博主到懷揣夢(mèng)想的學(xué)生和創(chuàng)業(yè)者，他們利用AI技術(shù)，探索如何讓科技服務(wù)于人，真正改善人類生活的世界。

把授課交給老師，批改作業(yè)交給機(jī)器

長(zhǎng)久以來(lái)，學(xué)校教師肩負(fù)著作業(yè)批改的繁重負(fù)擔(dān)。一款基于 OpenVINO? 構(gòu)建并優(yōu)化的離線作業(yè)批改應(yīng)用幫助教師緩解了這一難題。只需將題目輸入到筆記本電腦，AI 大模型便能將學(xué)生答案與標(biāo)準(zhǔn)答案自動(dòng)進(jìn)行比對(duì)，完成作業(yè)批改。結(jié)合打印機(jī)，批改結(jié)果便能即時(shí)呈現(xiàn)在學(xué)生試卷之上。每分鐘超過(guò)60份試卷的批改速度，批改準(zhǔn)確率超過(guò)95%，讓教師徹底從繁重的體力勞動(dòng)中解放出來(lái)，大大提高了教育工作的效率。

利用OpenVINO?，跨過(guò)批量剪輯視頻之“痛”

在數(shù)字營(yíng)銷的戰(zhàn)役中，出街速度至關(guān)重要。北京海百川有限公司開發(fā)的 AIGC 數(shù)字內(nèi)容生成結(jié)合全息硬件展示系統(tǒng)能夠輕松處理復(fù)雜任務(wù)，從視頻生成、虛擬互動(dòng)到與大型 AI 模型的集成，使得在視覺(jué)識(shí)別、面部表情和身體動(dòng)作的捕捉上都能生成引人入勝的數(shù)字內(nèi)容。通過(guò)高性能的 AI 推理引擎，系統(tǒng)能夠自動(dòng)捕捉熱點(diǎn)，制作出適應(yīng)不同語(yǔ)言和文化環(huán)境的視頻內(nèi)容，達(dá)到批量生產(chǎn)視頻的效果，滿足市場(chǎng)的多樣化需求和對(duì)速度的追求。

傳統(tǒng)針灸“智慧”傳承，AI技術(shù)功不可沒(méi)

針灸作為一種傳統(tǒng)的中醫(yī)療法，其操作依賴于針灸師手工進(jìn)行。隨著城市化和人口老齡化帶來(lái)對(duì)針灸服務(wù)的需求的上升，現(xiàn)有的針灸師隊(duì)伍難以滿足龐大的市場(chǎng)需求。上海墀圣信息科技有限責(zé)任公司借助英特爾的 OpenVINO? 開發(fā)的謐行針灸系統(tǒng)方案，通過(guò)智能化手段，不僅能夠快速準(zhǔn)確地識(shí)別人體穴位，還通過(guò)量化針灸手法，實(shí)現(xiàn)了治療操作的標(biāo)準(zhǔn)化，提高了治療的效率和準(zhǔn)確性。此外，龐大的針灸知識(shí)數(shù)據(jù)庫(kù)，還為針灸咨詢、學(xué)習(xí)與考核提供了支持，加速了針灸知識(shí)的普及與傳播。

隨著 OpenVINO? 2024.4 版本的發(fā)布，工程師將可以利用更多的性能加速創(chuàng)新。英特爾將繼續(xù)與全球開發(fā)者一起，探索 AI 的未知領(lǐng)域，讓每一個(gè)創(chuàng)意都能成為現(xiàn)實(shí)。