Arm計算平臺加持,全新Llama 3.2 LLM實現(xiàn)AI 推理的全面加速和擴展
新聞重點:
● 在Arm CPU上運行Meta最新Llama 3.2版本,其云端到邊緣側(cè)的性能均得到顯著提升,這為未來AI工作負載提供了強大支持
● Meta與Arm的合作加快了用例的創(chuàng)新速度,例如個性化的端側(cè)推薦以及日常任務(wù)自動化等
● Arm十年來始終積極投資AI領(lǐng)域,并廣泛開展開源合作,為 1B 至 90B 的 LLM 實現(xiàn)在 Arm 計算平臺上無縫運行
人工智能 (AI) 的迅猛發(fā)展意味著大語言模型 (LLM) 的新版本不斷推陳出新。要充分發(fā)揮 AI 的潛力并抓住其帶來的機遇,需要實現(xiàn) LLM 從云端到邊緣側(cè)的廣泛部署,而這也伴隨著對計算和能源需求的大幅增長。整個生態(tài)系統(tǒng)正攜手尋找應(yīng)對這一挑戰(zhàn)的解決方案,不斷推出新的更加高效的開源 LLM,以便大規(guī)模實現(xiàn)各種 AI 推理工作負載,加快為用戶帶來全新、快速的 AI 體驗。
為此,Arm與Meta 展開緊密合作,在 Arm CPU 上啟用新的Llama 3.2 LLM,集成開源創(chuàng)新與 Arm 計算平臺的優(yōu)勢,顯著推進了解決AI挑戰(zhàn)的進程。得益于Arm 的持續(xù)投資及與新型LLM 的合作, Arm CPU運行 AI 的優(yōu)勢在生態(tài)系統(tǒng)中脫穎而出,使Arm成為 AI 推理開發(fā)者的首選平臺。
加速云到邊緣側(cè)的AI性能
小型 LLM(如 Llama 3.2 1B 和 3B)能夠支持基于文本的基礎(chǔ)生成式 AI 工作負載,對于大規(guī)模 AI 推理的實現(xiàn)至關(guān)重要。通過 Arm CPU 優(yōu)化內(nèi)核在 Arm 技術(shù)驅(qū)動的移動設(shè)備上運行新的 Llama 3.2 3B LLM,可讓提示詞處理速度提高五倍,詞元 (token) 生成速度提高三倍,在生成階段實現(xiàn)每秒 19.92 個詞元。這將直接減少了在設(shè)備上處理 AI 工作負載的延遲,大大提升了用戶整體體驗。此外,當(dāng)邊緣側(cè)能處理的 AI 工作負載越多,往返云端傳輸數(shù)據(jù)所節(jié)省的電量就越多,進而節(jié)省了能源和成本。
除了在邊緣側(cè)運行小型模型,Arm CPU同樣支持在云端運行更大的模型(如 Llama 3.2 11B 和 90B)。11B 和 90B 的模型非常適合云端基于 CPU 的推理工作負載,可生成文本和圖像,其中,在 Arm Neoverse V2 上的測試結(jié)果展現(xiàn)出了更大的性能提升。在基于 Arm 架構(gòu)的 AWS Graviton4 上運行 11B 的圖像和文本模型,可以在生成階段實現(xiàn)每秒 29.3 個詞元的表現(xiàn),遠遠超出了人類大約每秒閱讀五個詞元的速度。
AI將通過開源創(chuàng)新和生態(tài)系統(tǒng)協(xié)作迅速擴展
能公開獲取新的 LLMs(如Llama 3.2)至關(guān)重要。開源創(chuàng)新正以迅猛速度發(fā)展,在之前的版本中,開源社區(qū)在不到 24 小時的時間內(nèi)便能在 Arm 上部署并運行新的 LLM。
Arm將通過 Arm Kleidi 進一步支持軟件社區(qū),讓整個 AI 技術(shù)棧能夠充分發(fā)揮這一優(yōu)化的 CPU 性能。Kleidi 可在任何 AI 框架上解鎖 Arm Cortex 和 Neoverse CPU 的 AI 功能和性能,無需應(yīng)用程序開發(fā)者進行額外的集成工作。
通過最近的 Kleidi 與 PyTorch 集成以及正在推進的與 ExecuTorch 集成,Arm正在為基于 Arm CPU的開發(fā)者提供從云端到邊緣側(cè)的無縫 AI 性能。得益于Kleidi 與 PyTorch 的集成,在基于 Arm 架構(gòu)的 AWS Graviton 處理器上運行 Llama 3 LLM 的詞元首次響應(yīng)時間加快了 2.5 倍。
同時,在端側(cè),與參考實現(xiàn)相比,在 KleidiAI 庫的加持下,使用 llama.cpp庫在新的 Arm Cortex-X925 CPU 上運行 Llama 3 的詞元首次響應(yīng)時間加快了 190%。
構(gòu)建AI的未來
Arm與Meta的合作成為了行業(yè)合作的新標桿,匯聚了Arm計算平臺的靈活性、普及性和AI功能,以及Meta等行業(yè)巨頭的技術(shù)專長,共同解鎖AI廣泛應(yīng)用的新機遇。無論是利用端側(cè)LLM滿足用戶的個性化需求,如根據(jù)用戶所處的位置、日程和偏好來執(zhí)行任務(wù),還是通過企業(yè)級應(yīng)用來優(yōu)化工作效率,讓用戶能夠更專注于戰(zhàn)略性任務(wù),Arm 技術(shù)的集成都為未來奠定了基礎(chǔ)。未來,設(shè)備不再只是命令和控制工具,更是能在提升用戶整體體驗方面扮演積極的作用。
在 Arm CPU 上運行 Meta 最新 Llama 3.2 版本,其AI 性能實現(xiàn)了顯著提升。這類開放式合作是實現(xiàn)無處不在的 AI 創(chuàng)新、促進 AI 可持續(xù)發(fā)展的最佳途徑。通過新的 LLM、開源社區(qū)和 Arm 的計算平臺,Arm 正在構(gòu)建 AI 的未來, 到 2025 年,將有 1000 多億臺基于 Arm 架構(gòu)的設(shè)備支持 AI。
評論