NVIDIA：以Jetson邊緣設(shè)備在現(xiàn)實世界探索生成式 AI 無限可能

作為人工智能產(chǎn)業(yè)的引領(lǐng)者，NVIDIA相信，有了來自邊緣的所有實時數(shù)據(jù)以及對這些數(shù)據(jù)的理解能力，AI 應(yīng)用就成為了能夠與真實世界互動的智能體。邊緣智能行業(yè)應(yīng)用空間廣泛，尤其是在制造業(yè)、政府、電信、醫(yī)療等重點領(lǐng)域，敏捷連接、實時業(yè)務(wù)、數(shù)據(jù)優(yōu)化、應(yīng)用智能、安全與隱私保護成為這些應(yīng)用的核心需求，邊緣智能將成為實現(xiàn)行業(yè)數(shù)字化轉(zhuǎn)型的關(guān)鍵。隨著商業(yè)神經(jīng)網(wǎng)絡(luò)的成熟，物聯(lián)網(wǎng)設(shè)備的普及以及并行計算和 5G 的進步，我們現(xiàn)在能夠通過強大的基礎(chǔ)架構(gòu)來實現(xiàn)通用機器學習。企業(yè)應(yīng)該把握良機，將 AI 應(yīng)用于他們的營業(yè)場所并依據(jù)實時洞察采取行動，同時降低成本并加強隱私。

面對邊緣設(shè)備的智能應(yīng)用需求，NVIDIA 在邊緣智能領(lǐng)域的技術(shù)創(chuàng)新和產(chǎn)品支持為行業(yè)發(fā)展注入了強大的動力。NVIDIA 此前發(fā)布了 Jetson 生成式 AI 實驗室（Jetson Generative AI Lab），使開發(fā)者能夠通過 NVIDIA Jetson 邊緣設(shè)備在現(xiàn)實世界中探索生成式 AI 的無限可能性。此外，邊緣AI應(yīng)用對硬件的尺寸、功耗和性能都有非常高的要求，NVIDIA 的Jetson Nano 開發(fā)套件功耗只有 5 W，是傳統(tǒng)計算機的十分之一，這意味著它可以在移動設(shè)備、嵌入式系統(tǒng)、機器人等低功耗場景中使用。普遍來看，在使用 Jetson 模組等嵌入式系統(tǒng)時，必須根據(jù)功率分配和計算資源來優(yōu)化應(yīng)用。Jetson 模組自帶 GPU、CPU 和各種 AI 加速器，還配有高效率的功率管理集成電路（PMIC）、穩(wěn)壓器和電源樹來進行功率效率優(yōu)化。同時，NVIDIA 提供包括各種功率模式、功率與散熱和電氣管理功能、用于監(jiān)控功率和散熱狀態(tài)的 Jetson Power GUI、用于提供模組命令行統(tǒng)計數(shù)據(jù)的 Tegrastats以及JTOP等多種工具和資源，幫助用戶充分利用功率架構(gòu)并優(yōu)化資源使用。每個 Jetson 模組都支持多種預(yù)配置功率模式，也能夠針對 10 W、15 W、30 W等特定功率進行預(yù)算優(yōu)化。

智能工業(yè)是邊緣AI非常重要的應(yīng)用場景，NVIDIA 推出了Jetson AGX Orin工業(yè)級模塊等開發(fā)工具，幫助開發(fā)者開發(fā)邊緣AI應(yīng)用。Jetson AGX Orin 工業(yè)級模塊可在 15-75 W 功率范圍內(nèi)提供高達 248 TOPS 的 AI 性能。其外形尺寸和引腳與 Jetson AGX Orin 兼容，性能比 Jetson AGX Xavier 工業(yè)級模塊提升了 8 倍以上。其能夠在惡劣環(huán)境下提供更高級別的計算能力。許多應(yīng)用程序，包括農(nóng)業(yè)、工業(yè)制造、采礦、建筑和交通等領(lǐng)域，都必須經(jīng)受極端環(huán)境和長時間的沖擊和震動。例如，在廣泛的農(nóng)業(yè)應(yīng)用中，強大的硬件至關(guān)重要，因為它使機械能夠承受重負荷、在崎嶇的地形中導(dǎo)航，并在不同溫度下持續(xù)運行。NVIDIA Jetson 模塊已經(jīng)改變了智能農(nóng)業(yè)，為自動駕駛拖拉機和智能收割、除草和選擇性噴灑系統(tǒng)提供動力。在鐵路應(yīng)用中，火車高速行駛時會產(chǎn)生振動，火車車輪和鐵軌之間的相互作用也會產(chǎn)生額外的間歇性振動和沖擊。運輸公司正在使用 Jetson探測物體、預(yù)防事故和優(yōu)化維護成本。采礦是另一個需要符合工業(yè)要求的領(lǐng)域。例如 Tage IDriver 推出了基于 Jetson AGX Xavier 工業(yè)級模塊的智能礦場地面-云端協(xié)調(diào)無人運輸?shù)V車解決方案。在露天礦場環(huán)境下，無人礦車需要具備更強的耐用性。在近地或外太空中，輻射水平帶來了巨大的挑戰(zhàn)，部署耐用且能夠耐受輻射的模塊對于確保可靠高效的運行至關(guān)重要。許多衛(wèi)星公司都希望在邊緣部署人工智能，但是他們在尋找合適的計算模塊時面臨著挑戰(zhàn)。NVIDIA Jetson 模塊裝有激光雷達、攝像頭、雷達等傳感器，能夠在惡劣的環(huán)境中實現(xiàn)所需的精準感知。

近兩年來，隨著生成式AI的火爆，NVIDIA 的技術(shù)成為推動生成式AI應(yīng)用發(fā)展的技術(shù)動力源泉，在邊緣側(cè)應(yīng)用提供生成式AI將成為極具發(fā)展?jié)摿Φ膽?yīng)用領(lǐng)域。隨著該領(lǐng)域快速發(fā)展，幾乎每天都有新的 LLM 出現(xiàn)，并且量化程序庫的發(fā)展也在一夜之間重塑了基準，NVIDIA 認識到了提供最新信息和有效工具的重要性。因此 NVIDIA 提供簡單易學的教程和預(yù)構(gòu)建容器，而實現(xiàn)這一切的是 jetson-containers，一個精心設(shè)計和維護的開源項目，旨在為 Jetson 設(shè)備構(gòu)建容器。該項目使用 GitHub Actions，以 CI/CD 的方式構(gòu)建了 100 個容器。這些容器使用戶能夠在 Jetson 上快速測試最新的 AI 模型、程序庫和應(yīng)用，無需繁瑣地配置底層工具和程序庫。

在開發(fā)者支持方面，NVIDIA Jetson AGX Orin 開發(fā)者套件與所有 Jetson Orin 模塊共享同樣的 SoC 架構(gòu)，因此能夠仿真任何模塊，使開發(fā)者能夠輕松地開始開發(fā)新一代產(chǎn)品。擁有緊湊的尺寸、大量的連接器和高達 275 TOPS 的 AI 性能，該開發(fā)者套件是開發(fā)先進 AI 機器人和其他邊緣 AI 設(shè)備原型的最佳選擇。此外，NVIDIA IGX Orin 開發(fā)者套件可提供一個滿足工業(yè)和醫(yī)療環(huán)境需求的工業(yè)級邊緣 AI 平臺。內(nèi)置的 NVIDIA Holoscan 是一套能夠協(xié)調(diào)數(shù)據(jù)移動、加速計算、實時可視化和 AI 推理的 SDK。該平臺讓開發(fā)者能夠?qū)㈤_源 LLM 添加到邊緣 AI 流式傳輸工作流和產(chǎn)品中，為實時 AI 傳感器處理帶來了新的可能性，同時確保敏感數(shù)據(jù)保持在 IGX 硬件的安全邊界內(nèi)。IGX Orin 專為邊緣環(huán)境打造，可以處理來自攝像頭、激光雷達傳感器、無線電天線、加速度計、超聲探頭等的流信息。這一通用性使各種先進的應(yīng)用能夠無縫地將 LLM 的強大功能與實時數(shù)據(jù)流融合。在集成到 Holoscan 操作系統(tǒng)后，這些 LLM 可顯著增強 AI 傳感器處理管道的能力和功能。

在軟件方面，NVIDIA 發(fā)布了 NVIDIA AI Enterprise IGX，該軟件可以在 IGX 平臺上運行，優(yōu)化 AI 工作流的開發(fā)和部署，確保企業(yè)機構(gòu)能夠獲得必要的 AI 框架和工具。IGX 是一個安全、可靠的自主系統(tǒng)平臺，它能夠改善人機協(xié)同。對于制造業(yè)和物流業(yè)，IGX 為高度監(jiān)管的實體工廠和倉庫提供了額外的安全層；對于醫(yī)療行業(yè)的邊緣 AI 用例，IGX 提供安全、低延遲的 AI 推理，以滿足臨床對醫(yī)療程序中的一系列儀器和傳感器獲得即時洞察的需求，例如機器人輔助手術(shù)、患者監(jiān)測系統(tǒng)等。