借助小語言模型，高效 Arm 計算賦能定制化 AI 未來

在過去的一年多里，大語言模型 (LLM) 推動了生成式 AI 的早期創(chuàng)新浪潮，訓練參數(shù)量朝萬億級規(guī)模邁進，但越來越多的證據(jù)表明，無限制地擴展 LLM 并不具備可持續(xù)性。至少來說，通過此方式來發(fā)展 AI 所需的基礎(chǔ)設(shè)施成本過于高昂，僅有少數(shù)企業(yè)可以承受。此類 LLM 需要消耗大量算力和電力，運營成本不菲。這些項目將帶來沉重的財務(wù)和資源負擔，例如 GPT-4 的訓練成本至少為一億美元。

除此之外，這些 LLM 的開發(fā)和部署過程也相對復雜。劍橋大學的一項研究 ^[1] 指出，企業(yè)將花費超過 90 天來部署單一的機器學習 (ML) 模型。漫長的周期阻礙了快速開發(fā)和迭代實驗的步伐，而這在 AI 技術(shù)飛速發(fā)展的領(lǐng)域卻又至關(guān)重要。

綜合考慮以上因素和其他挑戰(zhàn)，AI 的開發(fā)重心正逐漸轉(zhuǎn)向小語言模型 (Small Language Models, SLM)，有時或稱小型 LLM，從而借助其效率更高、資源需求更少，以及更易于定制和控制等優(yōu)勢來解決多項挑戰(zhàn)。相比于生成較復雜或精細的內(nèi)容，SLM（例如 Llama、Mistral、Qwen、Gemma、Phi-3 的小規(guī)模參數(shù)版本）在執(zhí)行對話、翻譯、摘要和分類等較簡單的集中任務(wù)時，效率更高，其訓練過程也僅需消耗較少的電力。

這有助于開發(fā)者構(gòu)建具有多模態(tài)功能的生成式 AI 解決方案，用于處理和生成文本、圖像和音頻等不同媒體形式的內(nèi)容。

Llama 3 等基礎(chǔ)模型可以利用特定上下文數(shù)據(jù)進一步微調(diào)，以專注于特定應用領(lǐng)域，如醫(yī)學科學、代碼生成或其它專業(yè)知識領(lǐng)域。結(jié)合這些較小體量 LLM 的可及性，這些應用讓生成式 AI 更為普及，并讓不具備 GPU 集群的應用開發(fā)者也可獲得 AI 功能，進而開辟了新的應用和用例。

與此同時，諸如量化等底層優(yōu)化技術(shù)也是提高模型效率的有效方式。量化技術(shù)通過對神經(jīng)網(wǎng)絡(luò)權(quán)重進行更低精度計算，可以縮減模型大小。量化可以將 16 位浮點數(shù)壓縮為 4 位整數(shù)，進而大幅降低了內(nèi)存和計算需求，對準確度也僅有細微影響。例如，應用這一方法后，原本擁有 70 億參數(shù)的 Llama 2 模型可從 13.5 GB 縮減至 3.9 GB，130 億參數(shù)版本可從 26.1 GB 縮減至 7.3 GB，700 億參數(shù)模型可從 138 GB 縮減至 40.7 GB。這項技術(shù)提高了這些輕量級模型的運行速度，還降低了軟件運行成本，尤其是在 CPU 上的軟件運行成本。

結(jié)合更高效、性能更強大的 Arm CPU 技術(shù)，這些軟件進展使規(guī)模更小、效率更高的 語言模型能夠直接在移動設(shè)備上運行 ，從而提高性能、保護隱私并優(yōu)化用戶體驗。

llama.cpp 等專用框架也促進了 SLM 的興起。與 PyTorch 等通用框架相比，llama.cpp 專注于優(yōu)化 CPU 推理的性能，能在通用硬件上更快速、更高效地執(zhí)行基于 Llama 的模型。這種可及性為廣泛部署提供了新的可能，而無需依賴專門的 GPU 資源，從而使 LLM 能夠服務(wù)于更廣泛的用戶群體和應用。

那么，硬件在其中又扮演了什么角色呢？

Arm Neoverse CPU 通過 Neon 和 SVE 等 SIMD 指令提升 ML 處理進程，尤其是用以加速通用矩陣乘法 (General Matrix Multiplications, GEMM)，這是一種涉及神經(jīng)網(wǎng)絡(luò)內(nèi)部復雜乘法的核心算法。在過去幾代產(chǎn)品中，Arm 不斷在其 Neon 和 SVE2 引擎中引入 SDOT (Signed Dot Product) 和 MMLA (Matrix Multiply Accumulate) 等功能指令，進而增強關(guān)鍵的 ML 算法。這有助于提高廣泛部署的服務(wù)器 CPU 效率，如 AWS Graviton 和 NVIDIA Grace，以及近期宣布投入量產(chǎn)的 Microsoft Cobalt 和 Google Axion 。

典型的 LLM 管線可劃分為兩個階段：

在聊天、風格轉(zhuǎn)換、總結(jié)生成和內(nèi)容創(chuàng)建等不同應用中，提示大小、詞元生成以及對于速度、質(zhì)量需求之間的優(yōu)先級會有所不同。交互式聊天優(yōu)先考慮快速響應，風格轉(zhuǎn)換強調(diào)輸出質(zhì)量，總結(jié)生成需要平衡全面性和及時性，而內(nèi)容創(chuàng)建則側(cè)重于生成大量優(yōu)質(zhì)素材。

簡而言之，語言模型是否有效，取決于能否根據(jù)快速交互、高效摘要、高質(zhì)量寫作和大量內(nèi)容創(chuàng)作輸入處理等任務(wù)需要，精細調(diào)整其輸入處理和文本生成。

為了評估 Neoverse CPU 執(zhí)行 LLM 任務(wù)的效率，Arm 軟件團隊和合作伙伴對 llama.cpp 中的 int4 和 int8 內(nèi)核進行了優(yōu)化，以利用基于 Arm 架構(gòu)的服務(wù)器 CPU 中較新的指令。團隊使用經(jīng)過 int4 量化并具有 80 億參數(shù)的 Llama 3 模型，對 AWS r7g.16xlarge 實例進行了性能測試，該實例搭載了 64 個基于 Arm 架構(gòu)的 Graviton3 核心并配置了 512 GB RAM。

測試結(jié)果如下：

基于 CPU 的云實例為開發(fā)者提供了靈活、經(jīng)濟、快速的開發(fā)起點，使其能夠輕松在應用中部署規(guī)模較小的專用 LLM。Arm 在自身的架構(gòu)中引入了多項關(guān)鍵功能，顯著提升了 LLM 的性能。得益于此，與其他服務(wù)器 CPU 相比，廣泛部署且基于 Neoverse 平臺的服務(wù)器處理器（如 AWS Graviton3）不僅能提供業(yè)界領(lǐng)先的 LLM 性能，還能為更多應用開發(fā)者降低采用 LLM 的成本門檻。

具體來說，僅需兩分錢左右就可以在兩秒鐘內(nèi)處理完本篇推文，并在不到一秒鐘內(nèi)生成簡短摘要。

Arm 一直處于推動向 SLM 發(fā)展的前沿，我們深切認識到了這一趨勢的潛力，并已準備好迎接這一轉(zhuǎn)變。深深根植于 Arm DNA 的高效和出色性能的 CPU 廣受市場贊譽，能在不會影響質(zhì)量或性能的前提下，無縫運行 AI 工作負載。

較大規(guī)模的語言模型在短短一年多的時間對科技行業(yè)和整個社會產(chǎn)生了深遠影響，短時間內(nèi)必然不會消失。

隨著定制化難度降低和必要性提升，SLM 正借此東風展翅高飛，占據(jù)其市場位置。

我們即將迎來的小語言模型將大有可為！