NPU是什么？為何它是開啟終端側生成式AI的關鍵？

生成式AI變革已經到來。隨著生成式AI用例需求在有著多樣化要求和計算需求的垂直領域不斷增加，我們顯然需要專為AI定制設計的全新計算架構。這首先需要一個面向生成式AI全新設計的神經網絡處理器(NPU)，同時要利用異構處理器組合，比如中央處理器(CPU)和圖形處理器(GPU)。通過結合NPU使用合適的處理器，異構計算能夠實現最佳應用性能、能效和電池續航，賦能全新增強的生成式AI體驗。

正如在工具箱中選擇合適的工具一樣，選擇合適的處理器取決于諸多因素，將增強生成式AI體驗。

異構計算的重要性

生成式AI的多樣化要求和計算需求需要不同的處理器來滿足。支持處理多樣性的異構計算架構能夠發揮每個處理器的優勢，例如以AI為中心定制設計的NPU，以及CPU和GPU。每個處理器擅長不同的任務：CPU擅長順序控制和即時性，GPU適合并行數據流處理，NPU擅長標量、向量和張量數學運算，可用于核心AI工作負載。

異構計算能夠實現最佳應用性能、能效和電池續航，以最大化發揮生成式AI終端用戶體驗。

NPU隨著不斷變化的AI用例和模型持續演進，實現高性能低功耗。

什么是神經網絡處理器NPU（Neural Processing Unit）？

NPU專為實現以低功耗加速AI推理而全新打造，其架構隨著新AI算法、模型和用例的發展不斷演進。Al工作負載主要包括由標量、向量和張量數學組成的神經網絡層計算以及非線性激活函數。優秀的NPU設計能夠為處理這些AI工作負載做出正確的設計選擇，與AI行業方向保持高度一致。

高通AI引擎包括高通Hexagon NPU、高通Adreno GPU、高通Kryo或高通Oryon CPU、高通傳感器中樞和內存子系統。

高通領先的NPU和異構計算解決方案

高通正在助力讓智能計算無處不在。業界領先的高通Hexagon NPU面向以低功耗實現持續穩定的高性能AI推理而設計。高通NPU的差異化優勢在于系統級解決方案、定制設計和快速創新。通過定制設計NPU并控制指令集架構(ISA)，高通能夠快速進行設計演進和擴展，以解決瓶頸問題并優化性能。

Hexagon NPU是高通業界領先的異構計算架構——高通AI引擎中的關鍵處理器，高通AI引擎還包括高通Adreno GPU、高通Kryo或高通Oryon CPU、高通傳感器中樞和內存子系統。這些處理器為實現協同工作而設計，能夠在終端側快速且高效地運行AI應用。

我們在AI基準測試和實際生成式AI應用方面的行業領先性能表現就是例證。

高通AI軟件棧旨在幫助開發者一次編寫，即可實現隨時隨地運行和規?；瘮U展。

賦能開發者加速生成式Al應用

我們專注于在全球搭載高通和驍龍平臺的數十億終端設備上實現便捷開發和部署，賦能開發者。利用高通AI軟件棧（Qualcomm AI Stack），開發者可在高通硬件上創建、優化和部署AI應用，一次編寫即可實現在不同產品和細分領域采用高通芯片組解決方案進行部署。

通過將技術領導力、定制芯片設計、全棧AI優化和生態系統賦能充分結合，高通技術公司在推動終端側生成式AI開發和應用方面獨樹一幟。高通技術公司正在賦能終端側生成式AI的規?；瘮U展。

本文內容來自高通技術公司高級副總裁兼技術規劃和邊緣解決方案業務總經理馬德嘉、高通技術公司技術市場總監Pat Lawlor的署名博客。

*驍龍和高通品牌產品是高通技術公司和/或其子公司的產品。