高通持續推動終端側生成式AI變革,推出高通AI Hub賦能開發者
要點:
本文引用地址:http://www.ex-cimer.com/article/202402/455722.htm· 高通現賦能終端側AI在下一代PC、智能手機、軟件定義汽車、XR設備和物聯網等領域規?;逃?,讓智能計算無處不在。
· 高通AI Hub為驍龍和高通平臺提供超過75個優化AI模型,助力開發者縮短產品上市時間,并讓終端側AI的諸多優勢在應用程序上得以發揮。這些模型也將在Hugging Face和GitHub上提供。開發者只需通過幾行代碼即可在搭載高通平臺的云托管終端上自行運行這些模型。
· 高通AI研究(Qualcomm AI Research)演示了在Android智能手機和Windows PC上運行多模態大模型和定制大視覺模型。
2024年2月26日,巴塞羅那——高通技術公司在巴塞羅那世界移動通信大會(MWC)上發布了公司在AI領域的最新進展。從全新高通?AI Hub、到前沿研究突破以及AI賦能的商用終端展示,高通技術公司正在為開發者賦能,并變革驍龍?和高通平臺支持的廣泛終端品類上的用戶體驗。
高通技術公司高級副總裁兼技術規劃和邊緣解決方案業務總經理馬德嘉表示:“隨著面向智能手機的第三代驍龍8和面向PC的驍龍X Elite的推出,我們開啟了終端側AI的規?;逃谩,F在,借助高通AI Hub,我們將賦能開發者充分發揮這些前沿技術的潛力,打造具有吸引力的AI賦能應用。高通AI Hub為開發者提供了一個全面的AI模型庫,使他們能夠輕松快速地將預優化AI模型集成進應用程序,從而打造更快、更可靠且更具隱私性的用戶體驗?!?/span>
高通AI Hub為開發者開啟卓越終端側AI性能
全新高通AI Hub包含預優化AI模型庫,支持在搭載驍龍和高通平臺的終端上進行無縫部署。該模型庫為開發者提供超過75個主流的AI和生成式AI模型,比如Whisper、ControlNet、Stable Diffusion和Baichuan-7B,可在不同執行環境(runtime)中打包,能夠在不同形態終端中實現卓越的終端側AI性能、降低內存占用并提升能效。所有模型均經過優化,以充分利用高通AI引擎內所有核心(NPU、CPU和GPU)的硬件加速能力,從而使推理速度提升4倍。AI模型庫能夠自動處理從源框架到主流執行環境的模型轉換,直接與高通AI引擎Direct SDK協同工作,并應用硬件感知優化。開發者可將這些模型無縫集成進應用程序,縮短產品上市時間,發揮終端側AI部署的諸多優勢,比如即時性、可靠性、隱私、個性化和成本優勢。
這些優化模型現已在高通AI Hub、GitHub和Hugging Face上提供。高通AI Hub將持續增加新模型,同時還將支持更多平臺和操作系統。開發者現可注冊登錄,在搭載高通技術公司平臺的云托管終端上自行運行模型,并通過高通AI Hub提前獲取新特性和AI模型。
Hugging Face聯合創始人兼CEO Clement Delangue表示:“我們很高興能夠在Hugging Face上托管高通技術公司的AI模型。這些主流AI模型面向終端側機器學習而優化,并且可在驍龍和高通平臺上使用,將賦能下一代移動開發者和邊緣AI應用,讓AI進一步惠及所有人?!?/span>
前沿AI研究進展
· 高通AI研究展示了首個在Android智能手機上運行的大語言和視覺助理大模型(LLaVA),這是一個超過70億參數的大型多模態語言模型(LMM),可接受包括文本和圖像在內的多種類型的數據輸入,并能夠與AI助手生成關于圖像的多輪對話。該LMM能夠在終端側以實時響應的速度生成token,從而增強了隱私、可靠性、個性化和成本優勢。具有語言理解和視覺理解能力的LMM能夠賦能諸多用例,例如識別和討論復雜的視覺圖案、物體和場景。
· 高通AI研究還將展示高通首個在Android智能手機上運行的LoRA模型。通過運行支持LoRA的Stable Diffusion,用戶可基于個人或藝術偏好創建高質量自定義圖像。LoRA減少了AI模型的可訓練參數數量,賦能更加高效、可擴展、定制化的終端側生成式AI用例。除了能夠實現針對不同的藝術風格賦能語言視覺大模型(LVM)微調外,LoRA還廣泛適用于定制AI模型(如大語言模型),以打造量身定制的個人助手、改進語言翻譯等。
· 在Windows PC上,高通AI研究將展示全球首個在終端側運行的超過70億參數的大型多模態語言模型(LMM),可接受文本和音頻輸入(如音樂、交通環境音頻等),并基于音頻內容生成多輪對話。
在MWC巴塞羅那上展示跨終端品類賦能生成式AI
· 智能手機:高通技術公司將展示一系列搭載第三代驍龍?8移動平臺的商用旗艦AI智能手機,包括榮耀Magic6 Pro、OPPO Find X7 Ultra和Xiaomi 14 Pro。每款終端都集成了令人興奮的生成式AI新特性,比如圖像擴充(小米)、智慧成片和一拖日程(榮耀)、AI消除(OPPO)。
· PC:全新驍龍X Elite及其45 TOPS NPU專為終端側AI打造,將變革用戶與PC的交互方式。高通技術公司將使用廣受歡迎的免費圖像編輯器GIMP集成Stable Diffusion插件進行演示:用戶可輸入想要的圖像,生成式AI將在7秒內生成圖像,速度比x86競品快3倍。
· 汽車:利用行業領先的AI硬件和軟件解決方案,高通技術公司還將演示驍龍?數字底盤?平臺支持的傳統AI和生成式AI功能,旨在為駕乘人員提供更加強大、高效、隱私、安全且個性化的體驗。
· 消費級物聯網:公司將展示在驍龍平臺上運行的Humane AI Pin,讓用戶能夠在全新、對話式以及無屏的終端形態中隨時隨地使用AI。
· 連接:全新推出的驍龍X80調制解調器及射頻系統集成第二代5G AI處理器,助力提升蜂窩性能,擴大覆蓋范圍,降低時延并提高能效。高通還推出首個AI優化的Wi-Fi 7系統——高通FastConnect? 7900移動連接系統,利用AI為自適應、高性能、低時延和低功耗的本地無線連接樹立新標桿。
· 5G基礎設施:高通技術公司將展示三項突破性的AI輔助網絡管理增強特性,包括助力無線接入網(RAN)工程師簡化網絡和切片管理任務的生成式AI助手,降低網絡能耗的AI輔助開放式RAN應用程序(rApp),以及AI輔助5G網絡切片生命周期管理套件。
欲了解有關高通技術公司AI創新和演示的更多信息,請訪問公司網站或蒞臨MWC巴塞羅那高通展位(Fira Gran Via 3號廳3E10號)參觀體驗。
評論