紅帽在OpenShift AI平臺上推出NVIDIA NIM集成功能
全球領(lǐng)先的開源解決方案提供商紅帽公司日前宣布,即將在紅帽OpenShift AI上集成支持NVIDIA NIM微服務(wù)。這一舉措旨在在一致的開源AI/ML混合云平臺支持下,為數(shù)十種人工智能(AI)模型實(shí)現(xiàn)優(yōu)化推理。企業(yè)將能夠利用紅帽OpenShift AI和NVIDIA NIM(NVIDIA 企業(yè)AI 軟件平臺的一部分,是一套易于使用的推理微服務(wù)),加速生成式AI(GenAI)應(yīng)用的交付,從而更快地實(shí)現(xiàn)價(jià)值。
本文引用地址:http://www.ex-cimer.com/article/202405/458721.htm紅帽OpenShift AI對NVIDIA NIM的支持,基于紅帽行業(yè)領(lǐng)先的開放混合云技術(shù),包括紅帽企業(yè)Linux和紅帽O(jiān)penShift,建立在對NVIDIA企業(yè)AI 的現(xiàn)有優(yōu)化基礎(chǔ)之上。作為最新合作的一部分,NVIDIA將實(shí)現(xiàn)NIM與KServe的互操作性,KServe是一個(gè)基于Kubernetes的開源項(xiàng)目,適用于高度可擴(kuò)展的AI用例,同時(shí)也是 紅帽O(jiān)penShift AI的核心上游貢獻(xiàn)者。這將有助于促進(jìn)NVIDIA NIM微服務(wù)在紅帽 penShift AI未來迭代中的持續(xù)互操作性。
這種集成使企業(yè)能夠利用GenAI功能提高生產(chǎn)率,例如利用虛擬助理擴(kuò)展客戶服務(wù)、對 IT 單據(jù)進(jìn)行案例匯總,以及利用特定領(lǐng)域的協(xié)同機(jī)器人加速業(yè)務(wù)運(yùn)營。
通過將紅帽O(jiān)penShift AI 與 NVIDIA NIM 結(jié)合使用,企業(yè)可以從以下方面獲益:
● 簡化集成路徑:與其他人工智能部署一起部署 NVIDIA NIM,提高一致性并簡化管理,使通用工作流程更加順暢。
● 協(xié)調(diào)與混合云環(huán)境中其他人工智能模型部署:對 NVIDIA NIM 部署進(jìn)行集成擴(kuò)展和監(jiān)控,確保與現(xiàn)有環(huán)境的協(xié)調(diào)性,并提供擴(kuò)展性支持。
● 企業(yè)級的安全性、支持和穩(wěn)定性:確保企業(yè)在從原型到生產(chǎn)的過程中,基于人工智能的業(yè)務(wù)運(yùn)作平穩(wěn)過渡,從而滿足業(yè)務(wù)的持續(xù)需求。
NVIDIA NIM微服務(wù)旨在加速企業(yè)的GenAI部署。NIM支持多種AI模型,包括開源社區(qū)模型、NVIDIA AI基礎(chǔ)模型和自定義模型,通過行業(yè)標(biāo)準(zhǔn)的應(yīng)用編程接口(API),能夠在企業(yè)內(nèi)部或云端提供無縫、可擴(kuò)展的AI推斷服務(wù)。
支持證言
Chris Wright, 紅帽CTO兼全球工程高級副總裁
“在與 NVIDIA 的合作中,紅帽專注于消除障礙,降低復(fù)雜性,從而讓企業(yè)能快速構(gòu)建、管理和部署AI應(yīng)用。紅帽 OpenShift AI 為擴(kuò)展 NIM 微服務(wù)的覆蓋范圍提供了一個(gè)可擴(kuò)展、靈活的基礎(chǔ),通過預(yù)構(gòu)建的容器和行業(yè)標(biāo)準(zhǔn) API 為開發(fā)人員賦能,所有這些都由開源創(chuàng)新驅(qū)動(dòng)?!?/p>
Justin Boitano,NVIDIA企業(yè)產(chǎn)品副總裁
“每個(gè)企業(yè)開發(fā)團(tuán)隊(duì)都希望盡可能快速、安全地將他們的生成式人工智能應(yīng)用投入生產(chǎn)。在紅帽 OpenShift AI 中集成 NVIDIA NIM 標(biāo)志著我們合作的一個(gè)新里程碑,因?yàn)檫@將幫助開發(fā)人員利用性能優(yōu)化的基礎(chǔ)和嵌入模型,在任何云或數(shù)據(jù)中心中快速構(gòu)建和擴(kuò)展現(xiàn)代企業(yè)應(yīng)用。”
評論