CEVA推出增強型NeuPro-M NPU IP系列，大力推動生成式AI
全球領先的無線連接、智能感知技術及定制SoC解決方案的授權許可廠商CEVA, Inc. (納斯達克股票代碼： CEVA)宣布推出增強型NeuPro-M NPU系列，以業界領先的性能和能效滿足下一代生成式人工智能(Generative AI)的處理需求，適用于從云端到邊緣的各類別的人工智能推理工作負載。NeuPro-M NPU架構和工具經過重新設計，除支持CNN和其他神經網絡外，還支持transformer網絡，并支持未來的機器學習推理模型，因而能夠在通信網關、光連接網絡、汽車、筆記本電腦和平板電腦、AR/VR頭戴式設備、智能手機以及任何其他云端或邊緣使用案例中，基于NeuPro-M NPU進行無縫開發和運行高度優化的應用，充分利用生成式人工智能和傳統人工智能的功能。
本文引用地址：http://www.ex-cimer.com/article/202308/449500.htm
CEVA副總裁兼視覺業務部門總經理Ran Snir 評論道：“基于transformer的網絡需要大量增加計算和內存資源以推動生成式人工智能，從而要求新的方法和優化的處理架構來滿足這股計算和內存需求的增長。我們的 NeuPro-M NPU IP經過專門設計，高效、低成本地處理當前和未來的傳統人工智能和生成式人工智能工作負載。這款IP具有可擴展性，可處理從邊緣到云端的用例，并可以在未來支持新的推理模型。我們利用這款架構實現了性能飛躍，為各種使用案例帶來了美好的生成式人工智能前景，涵蓋從成本敏感的邊緣設備到高效的云計算，以及兩者之間的所有應用。”
市場研究機構ABI Research預測，邊緣人工智能出貨量將從2023年的24億臺增長到2028年的65億臺，年均復合增長率(CAGR)為22.4%*。生成式人工智能將是支撐增長的重要力量，而日益復雜的智能邊緣應用正在推動對更強大、更高效的人工智能推理技術的需求。特別地，雖然生成式人工智能中使用的大型語言模型(LLM)以及視覺和音頻transformer能夠改變產品和行業，但在邊緣設備上運行時，將會對性能、功耗、成本、延遲和內存帶來新的挑戰。
ABI Research高級分析師Reece Hayden表示：“如今，生成式人工智能的硬件市場高度集中，少數幾家廠商占據主導地位。為了兌現技術承諾，在云端和邊緣領域都需要明確的路徑去實現更低功耗、更低成本推理處理，這將通過更小的模型尺寸和更高效的硬件來實現。CEVA的NeuPro-M NPU IP是別具吸引力的方案，能夠在設備上部署具有出色功耗預算的生成式人工智能，同時具有可擴展性，使得NeuPro-M能夠滿足網絡設備及其他設備中更多的性能密集型用例。
受益于推理和建模技術的不斷發展，人們在設備層面可以利用更小的特定領域LLM、視覺transformer和其他生成式人工智能模型的新功能，相應地，這將改變基礎設施、工業、汽車、PC、消費產品和移動市場的應用。最重要的是，由于集成了矢量處理單元(VPU)，增強型NeuPro-M 架構具有高度通用性和面向未來的可擴展性，可支持未來的任何網絡層。此外，這款架構還支持任何激活函數和任何數據流，具有數據和權重的真正稀疏性，最高可將處理性能提升 4 倍，使得客戶能夠使用單一 NPU 系列滿足多種應用和多個市場的需求。為了實現多樣化人工智能市場所需的更大可擴展性，NeuPro-M增加了全新的 NPM12 和 NPM14 NPU 內核，分別具有兩個和四個NeuPro-M引擎，可輕松提供更高性能人工智能工作負載。增強型 NeuPro-M 系列目前包括四款NPU，分別是NPM11、NPM12、NPM14和NPM18。NeuPro-M具有多功能性以及卓越的性能和能效，成為當今業界領先的 NPU IP產品，在 3nm 工藝節點上可實現 350 TOPS/Watt 峰值性能，在基于transformer的LLM 推理中，每瓦每秒可處理超過 150 萬個token。
CEVA為增強型NeuPro-M架構提供經過改進的綜合開發工具鏈，它基于CEVA屢獲殊榮的神經網絡AI 編譯器CDNN，具有架構感知功能，可充分利用NeuPro-M并行處理引擎，最大限度地提高客戶的AI應用性能。CDNN軟件包括一個內存管理器，用于降低內存帶寬和優化負載平衡算法，并兼容包括TVM和ONNX的常見開源框架。
供貨
NPM11 NPU IP現已全面上市，可供客戶部署使用。CEVA向主要客戶提供NPM12、NPM14 和 NPM18。
*資料來源：ABI Research, AN-5774, QTR 1 2023
評論