<meter id="pryje"><nav id="pryje"><delect id="pryje"></delect></nav></meter>
          <label id="pryje"></label>

          新聞中心

          EEPW首頁(yè) > 智能計(jì)算 > 設(shè)計(jì)應(yīng)用 > 在嵌入式應(yīng)用中部署生成式AI,恩智浦有個(gè)好方法!

          在嵌入式應(yīng)用中部署生成式AI,恩智浦有個(gè)好方法!

          作者: 時(shí)間:2024-12-03 來(lái)源:NXP 收藏


          本文引用地址:http://www.ex-cimer.com/article/202412/465156.htm



          近來(lái),與AI相關(guān)的周期性熱點(diǎn)幾乎都圍繞著大語(yǔ)言模型 (LLM) 和模型,這樣的趨勢(shì)反映出這些話題近年來(lái)日益增強(qiáng)的影響力和普及程度。與大語(yǔ)言模型和模型相關(guān)的應(yīng)用涵蓋了廣泛的領(lǐng)域,從開(kāi)放式聊天機(jī)器人到任務(wù)型助手。雖然LLM主要聚焦基于云和服務(wù)器端的應(yīng)用,但人們對(duì)在系統(tǒng)和邊緣設(shè)備中部署這些模型的興趣也在不斷增加。

          系統(tǒng) (如家用電器、工業(yè)設(shè)備、汽車等設(shè)備中的微處理器) 需要在成本和功耗受限的情況下,適應(yīng)有限的計(jì)算能力和內(nèi)存可用性。這使得在邊緣設(shè)備上部署高精度和高性能的語(yǔ)言模型極具挑戰(zhàn)性。

          在邊緣設(shè)備上部署LLM

          解決方案中,利用LLM的一個(gè)關(guān)鍵領(lǐng)域是操作員與機(jī)器之間的自然對(duì)話交互,即人機(jī)界面 (HMI)。

          嵌入式系統(tǒng)可以簡(jiǎn)化各種輸入選項(xiàng),如麥克風(fēng)、攝像頭或其他傳感器,但大多數(shù)系統(tǒng)不會(huì)像個(gè)人電腦、筆記本電腦和手機(jī)那樣,配備完整的鍵盤與LLM模型進(jìn)行交互。因此,嵌入式系統(tǒng)在使用音頻和視覺(jué)作為L(zhǎng)LM輸入時(shí),必須具備實(shí)用性。這需要一個(gè)自動(dòng)語(yǔ)音識(shí)別 (ASR) 或圖像識(shí)別和分類的預(yù)處理模塊。

          同樣,交互的輸出選項(xiàng)也有限。嵌入式解決方案可能沒(méi)有屏幕,或者不方便用戶閱讀屏幕信息。因此,在模型之后,需要一個(gè)后處理步驟,使用文本到語(yǔ)音 (TTS) 算法將模型輸出轉(zhuǎn)換為音頻。

          恩智浦正在構(gòu)建eIQ GenAI Flow,通過(guò)添加必要的預(yù)處理和后處理模塊,使其成為一個(gè)模塊化流程,從而使邊緣生成式AI更加實(shí)用。

          生成式AI正在改變嵌入式應(yīng)用。閱讀恩智浦關(guān)于檢索增強(qiáng)生成 (RAG) 的白皮書,了解這種方法如何簡(jiǎn)化LLM的開(kāi)發(fā)過(guò)程。

          通過(guò)LLM革新應(yīng)用

          通過(guò)集成基于LLM的語(yǔ)音識(shí)別、自然語(yǔ)言理解和文本生成功能,嵌入式設(shè)備能夠提供更直觀和對(duì)話式的用戶體驗(yàn)。這包括響應(yīng)語(yǔ)音命令的智能家居設(shè)備、通過(guò)自然語(yǔ)言控制的工業(yè)機(jī)械,以及能夠進(jìn)行免提對(duì)話的汽車娛樂(lè)中控系統(tǒng),以指導(dǎo)用戶或操作車內(nèi)功能等。

          LLM還在健康應(yīng)用中的嵌入式預(yù)測(cè)分析和決策支持系統(tǒng)中發(fā)揮作用。設(shè)備可以嵌入使用特定領(lǐng)域數(shù)據(jù)訓(xùn)練的語(yǔ)言模型,然后利用自然語(yǔ)言處理分析傳感器數(shù)據(jù)、識(shí)別模式并生成見(jiàn)解,同時(shí)在邊緣實(shí)時(shí)運(yùn)行并保護(hù)患者隱私,無(wú)需將數(shù)據(jù)發(fā)送到云端。

          應(yīng)對(duì)生成式AI挑戰(zhàn)

          在嵌入式環(huán)境中部署準(zhǔn)確且功能強(qiáng)大的生成式AI模型面臨許多挑戰(zhàn)。需要優(yōu)化模型的大小和內(nèi)存使用,使LLM能夠適應(yīng)目標(biāo)硬件的資源限制。具有數(shù)十億個(gè)參數(shù)的模型需要數(shù)千兆字節(jié)的存儲(chǔ)空間,而在邊緣系統(tǒng)中,這可能會(huì)帶來(lái)高成本且難以實(shí)現(xiàn)。量化和修剪等模型優(yōu)化技術(shù)不僅適用于卷積神經(jīng)網(wǎng)絡(luò),也適用于轉(zhuǎn)換器模型——這是生成式AI克服模型大小問(wèn)題的重要方法。

          像LLM這樣的生成式AI模型也有知識(shí)局限性。例如,它們的理解是有限的,通常會(huì)提供不一致的答案,也稱為“幻覺(jué)”(hallucination),而且它們的知識(shí)受限于訓(xùn)練數(shù)據(jù)的時(shí)效性。訓(xùn)練模型或通過(guò)再訓(xùn)練來(lái)微調(diào)模型可以提高準(zhǔn)確性和上下文感知,但這可能在數(shù)據(jù)收集和所需的訓(xùn)練計(jì)算方面花費(fèi)巨大。

          幸運(yùn)的是,有需求就有創(chuàng)新;通過(guò)檢索增強(qiáng)生成 (RAG) 可以解決這個(gè)問(wèn)題。RAG方法使用特定上下文數(shù)據(jù)創(chuàng)建知識(shí)數(shù)據(jù)庫(kù),LLM可以在運(yùn)行時(shí)參考這些數(shù)據(jù)來(lái)準(zhǔn)確回答查詢。

          eIQ GenAI Flow將生成式AI和LLM的優(yōu)勢(shì)以實(shí)用的方式應(yīng)用于邊緣場(chǎng)景。通過(guò)將RAG整合到該流程中,我們?yōu)榍度胧皆O(shè)備提供特定領(lǐng)域的知識(shí),而不會(huì)將用戶數(shù)據(jù)暴露給原始AI模型的訓(xùn)練數(shù)據(jù)。這樣可以確保對(duì)LLM的任何更改都是私密的,并且僅在邊緣本地使用。

          本文作者

          Ali Ors,恩智浦半導(dǎo)體邊緣處理AI機(jī)器學(xué)習(xí)戰(zhàn)略技術(shù)主管。Ali專門負(fù)責(zé)領(lǐng)導(dǎo)各跨職能團(tuán)隊(duì),為機(jī)器學(xué)習(xí)和視覺(jué)處理領(lǐng)域提供創(chuàng)新產(chǎn)品和平臺(tái)。他目前在恩智浦負(fù)責(zé)全球AI機(jī)器學(xué)習(xí)戰(zhàn)略和技術(shù)工作。Ali曾在恩智浦汽車業(yè)務(wù)部負(fù)責(zé)ADAS和自主產(chǎn)品的AI戰(zhàn)略、戰(zhàn)略伙伴關(guān)系和平臺(tái)設(shè)計(jì)。加入恩智浦之前,Ali曾擔(dān)任CogniVue公司的工程副總裁,負(fù)責(zé)開(kāi)發(fā)視覺(jué)SoC解決方案和認(rèn)知處理器IP內(nèi)核。Ali持有加拿大渥太華卡爾頓大學(xué)的工程學(xué)學(xué)位。



          關(guān)鍵詞: NXP 嵌入式 生成式AI

          評(píng)論


          相關(guān)推薦

          技術(shù)專區(qū)

          關(guān)閉
          看屁屁www成人影院,亚洲人妻成人图片,亚洲精品成人午夜在线,日韩在线 欧美成人 (function(){ var bp = document.createElement('script'); var curProtocol = window.location.protocol.split(':')[0]; if (curProtocol === 'https') { bp.src = 'https://zz.bdstatic.com/linksubmit/push.js'; } else { bp.src = 'http://push.zhanzhang.baidu.com/push.js'; } var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(bp, s); })();