本地llm應(yīng)用 文章 進(jìn)入本地llm應(yīng)用技術(shù)社區(qū)

安霸發(fā)布N1系列生成式AI芯片,支持前端設(shè)備運(yùn)行本地LLM應(yīng)用

• 單顆 SoC 支持 1 至 340 億參數(shù)的多模態(tài)大模型（Multi-Modal LLM）推理，實(shí)現(xiàn)前端低功耗生成式 AI。Ambarella (下稱“安霸”，專注 AI 視覺感知的半導(dǎo)體公司）于當(dāng)天宣布，在 2024 國(guó)際消費(fèi)電子展（CES）期間，展出在其新款 N1 系列 SoC 上運(yùn)行多模態(tài)大模型（Multi-Modal LLM），其每次推理的功耗顯著低于當(dāng)前市場(chǎng)的通用 GPU 解決方案。生成式 AI 是為了處理大規(guī)模數(shù)據(jù)集而最早應(yīng)用于服務(wù)器上的變革性技術(shù)，而安霸的目標(biāo)是將生成式 AI 部署于終端設(shè)備
• 關(guān)鍵字： 安霸  生成式AI芯片  本地LLM應(yīng)用