<meter id="pryje"><nav id="pryje"><delect id="pryje"></delect></nav></meter>
          <label id="pryje"></label>

          新聞中心

          EEPW首頁 > 智能計算 > 業(yè)界動態(tài) > 微軟自曝花數(shù)億美元為OpenAI組裝超算開發(fā)ChatGPT 使用數(shù)萬個英偉達芯片

          微軟自曝花數(shù)億美元為OpenAI組裝超算開發(fā)ChatGPT 使用數(shù)萬個英偉達芯片

          作者: 時間:2023-03-14 來源:網(wǎng)易科技 收藏

          3月14日消息,美國當?shù)貢r間周一,發(fā)文透露其斥資數(shù)億美元幫助組裝了一臺AI超級計算機,以幫助開發(fā)爆火的聊天機器人ChatGPT。這臺超算使用了數(shù)萬個圖形A100,這使得能夠訓(xùn)練越來越強大的AI模型。

          本文引用地址:http://www.ex-cimer.com/article/202303/444354.htm

          試圖訓(xùn)練越來越大的AI模型,這些模型正在吸收更多的數(shù)據(jù),學習越來越多的參數(shù),這些參數(shù)是AI系統(tǒng)通過訓(xùn)練和再培訓(xùn)找出的變量。這意味著,OpenAI需要很長時間才能獲得強大的云計算服務(wù)支持。

          為應(yīng)對這一挑戰(zhàn),當于2019年向OpenAI投資10億美元時,該公司同意為這家AI研究初創(chuàng)公司組裝一臺巨大的尖端超級計算機。但問題在于,沒有任何OpenAI所需的東西,也不完全確定其能否能在不破壞Azure云服務(wù)的情況下構(gòu)建如此龐大的設(shè)備。

          為此,微軟不得不想方設(shè)法將的數(shù)萬個A100圖形連接起來,并改變服務(wù)器在機架上的放置方式以防止斷電。A100圖形是培訓(xùn)AI模型的主力。微軟負責云計算和AI業(yè)務(wù)的執(zhí)行副總裁斯科特·格思里(Scott Guthrie)沒有透露該項目的具體成本,但其暗示可能達數(shù)億美元。

          微軟Azure AI基礎(chǔ)設(shè)施總經(jīng)理尼迪·卡佩爾(Nidhi Cappell)說:“我們構(gòu)建了一個系統(tǒng)構(gòu)架,它可以在非常大的范圍內(nèi)運行且十分可靠,這是ChatGPT成功的重要原因。這只是我們從中得出的一個模式,還會有許許多多其他的模型?!?/p>

          基于這項技術(shù),OpenAI發(fā)布了爆火的聊天機器人ChatGPT。在去年11月上線后幾天,它就吸引了100多萬用戶,現(xiàn)在正被納入其他公司的商業(yè)模式。隨著企業(yè)和消費者對ChatGPT等生成式(AIGC)工具的興趣越來越大,微軟、亞馬遜和谷歌等云服務(wù)提供商將面臨更大的壓力,以確保他們的數(shù)據(jù)中心能夠提供所需的巨大算力。

          與此同時,微軟現(xiàn)在也開始使用它為OpenAI構(gòu)建的基礎(chǔ)設(shè)施來訓(xùn)練和運行自己的大型AI模型,包括上個月推出的新必應(yīng)搜索聊天機器人。該公司還向其他客戶銷售該系統(tǒng)。這家軟件巨頭已經(jīng)在研發(fā)下一代AI超級計算機,這是微軟與OpenAI擴大合作的一部分,微軟在交易中增加了100億美元投資。

          格思里在接受采訪時說:“我們并沒有為OpenAI定制任何東西,盡管其最初是定制的,但我們總是以一種泛化的方式構(gòu)建它,這樣任何想要訓(xùn)練大型語言模型的人都可以利用同樣的改進技術(shù)。這真的幫助我們在更廣泛的范圍內(nèi)成為更好的AI智能云?!?/p>

          訓(xùn)練規(guī)模龐大的AI模型需要在某個地方有大量相互連接的圖形處理單元,就像微軟組裝的AI超級計算機那樣。一旦模型投入使用,回答用戶查詢的所有問題(這個過程稱為推理)需要略有不同的設(shè)置。為此,微軟還部署了用于推理的圖形芯片,但這些處理器(成千上萬個)在地理上分散在該公司60多個數(shù)據(jù)中心里。微軟表示,現(xiàn)在該公司正在添加用于AI工作負載的最新圖形芯片H100以及最新版Infiniband網(wǎng)絡(luò)技術(shù),以更快地共享數(shù)據(jù)。

          新的必應(yīng)仍處于測試階段,微軟正在逐步從申請測試名單中增加更多用戶。格思里的團隊與大約20多名員工每天都要舉行會議,他將這些員工稱為“pit crew”,原指賽車中車隊后勤維護組的技師。這些人的工作是找出如何讓更多的計算能力快速上線,以及解決突然出現(xiàn)的問題。

          云服務(wù)依賴于數(shù)千個不同的部件,包括服務(wù)器、管道、建筑物的混凝土、不同的金屬和礦物,而任何一個組件的延遲或短缺,無論多么微小,都可能導(dǎo)致整個項目中斷。最近,“pit crew”團隊不得不幫助解決電纜托盤短缺的問題,這是一種籃狀的裝置,用來固定從機器上順下來的電纜。因此,他們設(shè)計了一種新的電纜橋架。格思里說,他們還致力于研究如何在世界各地的現(xiàn)有數(shù)據(jù)中心壓榨盡可能多的服務(wù)器,這樣他們就不必等待新的建筑竣工。

          當OpenAI或微軟開始訓(xùn)練大型AI模型時,這項工作需要一次完成。工作被分配給所有的GPU,在某些時候,這些GPU需要相互交流來分享他們所做的工作。對于AI超級計算機,微軟必須確保處理所有芯片之間通信的網(wǎng)絡(luò)設(shè)備能夠處理這種負載,并且它必須開發(fā)出最大限度地利用GPU和網(wǎng)絡(luò)設(shè)備的軟件。該公司現(xiàn)在已經(jīng)開發(fā)出一種軟件,可以用來訓(xùn)練數(shù)十萬億個參數(shù)的AI模型。

          因為所有機器都是同時啟動的,微軟不得不考慮安放它們的位置,以及電源該應(yīng)該放在哪里。否則,數(shù)據(jù)中心最終可能會斷電。Azure全球基礎(chǔ)設(shè)施總監(jiān)阿利斯泰爾·斯皮爾斯(Alistair Speirs)說,微軟還必須確保能夠冷卻所有這些機器和芯片,該公司在較涼爽的氣候中使用蒸發(fā);冷卻方式、在較冷的氣候中使用室外空氣,在炎熱的氣候中使用高科技沼澤冷卻器。

          格思里說,微軟將繼續(xù)致力于定制服務(wù)器和芯片設(shè)計,以及優(yōu)化供應(yīng)鏈的方法,以盡可能地提高速度、提高效率和節(jié)省成本。他說:“現(xiàn)在令世界驚嘆的AI模型是基于我們幾年前開始建造的超級計算機構(gòu)建的,而新模型將使用我們現(xiàn)在正在訓(xùn)練的新超級計算機。這臺計算機要大得多,可以實現(xiàn)更復(fù)雜的技術(shù)?!?/p>

          微軟已經(jīng)在努力使Azure的AI功能更加強大,推出了新的虛擬機,使用英偉達的H100和A100 Tensor Core GPU,以及Quantum-2 InfiniBand網(wǎng)絡(luò)。微軟表示,這將允許OpenAI和其他依賴Azure的公司訓(xùn)練更大、更復(fù)雜的AI模型。

          微軟Azure AI企業(yè)副總裁埃里克·博伊德(Eric Boyd)在一份聲明中說:“我們發(fā)現(xiàn),我們需要構(gòu)建專門的集群,專注于支持大量的培訓(xùn)工作,而OpenAI就是早期的證據(jù)之一。我們正與他們密切合作,了解他們在建立訓(xùn)練環(huán)境時需要的關(guān)鍵條件,以及他們需要的其他東西。”



          評論


          相關(guān)推薦

          技術(shù)專區(qū)

          關(guān)閉
          看屁屁www成人影院,亚洲人妻成人图片,亚洲精品成人午夜在线,日韩在线 欧美成人 (function(){ var bp = document.createElement('script'); var curProtocol = window.location.protocol.split(':')[0]; if (curProtocol === 'https') { bp.src = 'https://zz.bdstatic.com/linksubmit/push.js'; } else { bp.src = 'http://push.zhanzhang.baidu.com/push.js'; } var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(bp, s); })();