ai gpu mi300 文章進(jìn)入ai gpu mi300技術(shù)社區(qū)

英偉達(dá)推出 Tensor RT-LLM，使大語(yǔ)言模型在搭載 RTX 的 PC 平臺(tái)上運(yùn)行速度提高 4 倍

IT之家 10 月 18 日消息，英偉達(dá)是硬件領(lǐng)域的生成型人工智能之王，該公司的 GPU 為微軟、OpenAI 等公司的數(shù)據(jù)中心提供動(dòng)力，運(yùn)行著 Bing Chat、ChatGPT 等人工智能服務(wù)。今天，英偉達(dá)宣布了一款新的軟件工具，旨在提升大型語(yǔ)言模型（LLM）在本地 Windows PC 上的性能。在一篇博客文章中，英偉達(dá)宣布了其 TensorRT-LLM 開源庫(kù)，這個(gè)庫(kù)之前是為數(shù)據(jù)中心發(fā)布的，現(xiàn)在也可以用于 Windows PC。最大的特點(diǎn)是，如果 Windows PC 配備英偉達(dá) GeF
關(guān)鍵字：英偉達(dá) GPU 人工智能

vivo自研大模型即將應(yīng)用于新系統(tǒng)

vivo官宣將于近期發(fā)布自研AI大模型矩陣，將會(huì)在vivo新操作系統(tǒng)OriginOS 4中被首次應(yīng)用。據(jù)媒體報(bào)道，10月16日，vivo官宣將于近期發(fā)布自研AI大模型矩陣，其中包括十億、百億、千億三個(gè)不同參數(shù)量級(jí)的5款自研大模型，全面覆蓋核心應(yīng)用場(chǎng)景，這些大模型將會(huì)在11月1日發(fā)布的vivo新操作系統(tǒng)OriginOS 4中被首次應(yīng)用。最新數(shù)據(jù)顯示，vivo自研AI大模型同時(shí)位列C-Eval、CMMLU雙榜的全球中文榜單榜首，綜合能力十分強(qiáng)勁，特別是在人文、社科等領(lǐng)域的表現(xiàn)遠(yuǎn)超同級(jí)別大模型。
關(guān)鍵字： vivo 大模型 AI

群聯(lián) 攻PCIe 5.0 AI新商機(jī)

群聯(lián)在開放運(yùn)算計(jì)劃（OCP）全球峰會(huì)開幕前，宣布推出同時(shí)兼容PCIe 5.0和CXL 2.0的Redriver PS7102／PS7103和Retimer PS7201／PS7202信號(hào)調(diào)節(jié)IC（signal conditioning IC）產(chǎn)品，搶攻PCIe 5.0的AI數(shù)據(jù)運(yùn)算新商機(jī)。一年一度的Open Compute Project（OCP：開放運(yùn)算計(jì)劃）全球峰會(huì)于美西時(shí)間17日開幕，成立于2011年，目的是為打造開放式數(shù)據(jù)中心硬件架構(gòu)，盼吸引更多廠商進(jìn)行數(shù)據(jù)中心的開發(fā)與設(shè)計(jì)，提高數(shù)據(jù)中心效率，降低
關(guān)鍵字：群聯(lián) PCIe 5.0 AI

到2026年將有超過80%的企業(yè)采用生成式AI

分析公司Gartner日前發(fā)布報(bào)告，預(yù)計(jì)到2026年，超過80%的企業(yè)將使用生成式AI應(yīng)用程序編程接口（API）或模型，或在相關(guān)生產(chǎn)環(huán)境中部署支持生成式AI的應(yīng)用程序。Gartner稱，目前只有不到5%的企業(yè)將生成式AI運(yùn)用在生產(chǎn)環(huán)境中，而在短短三年內(nèi)，采用或創(chuàng)造生成式AI模型的企業(yè)數(shù)量預(yù)計(jì)將增長(zhǎng)16倍。Gartner杰出副總裁分析師Arun Chandrasekaran認(rèn)為，生成式AI將成為企業(yè)管理層的“首要任務(wù)”，還將引發(fā)了基礎(chǔ)模型之外新工具的巨大創(chuàng)新 —— 未來包括“醫(yī)療保健、生命科學(xué)、法律、金融服
關(guān)鍵字：生成式 AI AIGC 編程

2023芯和半導(dǎo)體用戶大會(huì) | AI, HPC, Chiplet生態(tài)聚會(huì)

2023芯和半導(dǎo)體用戶大會(huì)以“極速智能，創(chuàng)見未來”為主題，以“系統(tǒng)設(shè)計(jì)分析”為主線，以“芯和Chiplet EDA設(shè)計(jì)分析全流程EDA平臺(tái)”為旗艦，包含主旨演講和技術(shù)分論壇兩部分，主題涵蓋芯片半導(dǎo)體與高科技系統(tǒng)領(lǐng)域的眾多前沿技術(shù)、成功應(yīng)用與生態(tài)合作方面的最新成果。
關(guān)鍵字：芯和半導(dǎo)體 AI HPC Chiplet

AI時(shí)代的數(shù)據(jù)中心成吃電巨獸，氮化鎵會(huì)是能效救星嗎？

數(shù)位經(jīng)濟(jì)正經(jīng)歷一場(chǎng)由兩大趨勢(shì)驅(qū)動(dòng)的巨大變革，即時(shí)數(shù)據(jù)分析的龐大需求為其一，另一則是生成式人工智能（Generative AI）的快速發(fā)展。一場(chǎng)激烈的生成式AI競(jìng)賽正如火如荼的進(jìn)行中，科技巨頭如亞馬遜（Amazon)、谷歌（Google)、微軟（Microsoft）皆大舉投資生成式AI的研發(fā)創(chuàng)新。根據(jù)彭博智庫(kù)（Bloomberg Intelligence）預(yù)測(cè)，生成式AI市場(chǎng)將以42%的年增率成長(zhǎng)，從2022年400億美元市值，于10年內(nèi)擴(kuò)大至1.3兆美元。在AI的蓬勃發(fā)展下，數(shù)據(jù)中心對(duì)電力與運(yùn)算的
關(guān)鍵字： AI 數(shù)據(jù)中心氮化鎵

英偉達(dá)下一代GPU：Blackwell B100將采用HBM3E顯存，計(jì)劃于明年第二季度左右發(fā)布

今年8月，SK海力士宣布開發(fā)出了全球最高規(guī)格的HBM3E內(nèi)存，并將從明年上半年開始投入量產(chǎn)，目前已經(jīng)開始向客戶提供樣品進(jìn)行性能驗(yàn)證。據(jù)MT.co.kr報(bào)道，繼第4代產(chǎn)品HBM3之后，SK海力士將向英偉達(dá)獨(dú)家供應(yīng)第五代高帶寬內(nèi)存HBM3E，此舉有望進(jìn)一步鞏固其作為AI半導(dǎo)體公司的地位。據(jù)半導(dǎo)體業(yè)界15日消息，SK海力士將于明年初向英偉達(dá)提供滿足量產(chǎn)質(zhì)量要求的HBM3E內(nèi)存，并開展最終的資格測(cè)試。一位半導(dǎo)體行業(yè)高管表示，“沒有HBM3E，英偉達(dá)就無法銷售B100”，“一旦質(zhì)量達(dá)到要求，合同就只是時(shí)間問題。”據(jù)
關(guān)鍵字：英偉達(dá) GPU Blackwell B100 HBM3E 顯存

美國(guó)填補(bǔ)了限制向中國(guó)出口先進(jìn)人工智能芯片的漏洞

一位美國(guó)官員表示，美國(guó)將采取措施，防止美國(guó)芯片制造商向中國(guó)出售繞過政府限制的半導(dǎo)體，這是拜登政府即將采取的行動(dòng)的一部分，以阻止更多的AI芯片出口。這些新規(guī)則的細(xì)節(jié)首次由路透社報(bào)道。這些規(guī)則將被添加到去年10月宣布的美國(guó)對(duì)向中國(guó)出口先進(jìn)芯片和芯片制造設(shè)備的全面限制中。熟悉此事的消息人士表示，這些更新預(yù)計(jì)將在本周公布，但時(shí)間表可能會(huì)推遲。這位不愿透露姓名的官員表示，新規(guī)定將限制一些低于當(dāng)前技術(shù)參數(shù)的人工智能芯片向中國(guó)出口，同時(shí)要求公司報(bào)告其他芯片的出貨量。負(fù)責(zé)出口管制的美國(guó)商務(wù)部發(fā)言人拒絕置評(píng)。美國(guó)對(duì)技術(shù)出口
關(guān)鍵字： AI 安全智能計(jì)算

邊緣環(huán)境和Gen AI將共同推動(dòng)2023下半年中國(guó)HCI和SDS市場(chǎng)增長(zhǎng)

IDC在關(guān)于數(shù)字基礎(chǔ)設(shè)施的預(yù)測(cè)中指出，隨著全球企業(yè)更多地實(shí)施高性能的、數(shù)據(jù)密集型的工作負(fù)載，以及對(duì)現(xiàn)有的應(yīng)用進(jìn)行現(xiàn)代化改造，將更大程度地利用云原生架構(gòu)和微服務(wù)，導(dǎo)致數(shù)字基礎(chǔ)設(shè)施環(huán)境更加復(fù)雜，同時(shí)政府的政策指導(dǎo)和業(yè)務(wù)發(fā)展的壓力依舊推動(dòng)垂直行業(yè)繼續(xù)采購(gòu)SDS&HCI產(chǎn)品，從而推動(dòng)市場(chǎng)增長(zhǎng)。IDC近日發(fā)布了《中國(guó)軟件定義存儲(chǔ) (SDS)及超融合存儲(chǔ)系統(tǒng) (HCI)市場(chǎng)季度跟蹤報(bào)告，2023年第二季度》，認(rèn)為最終用戶市場(chǎng)對(duì)SDS&HCI系統(tǒng)的需求仍將推動(dòng)中國(guó)企業(yè)級(jí)存儲(chǔ)市場(chǎng)的增長(zhǎng)，但過往疫情的影響讓
關(guān)鍵字：邊緣環(huán)境 Gen AI HCI SDS

ChatGPT一天燒掉2千萬分析師預(yù)言：AI太貴要完蛋

人工智能泡沫化？分析與研究機(jī)構(gòu)CCS Insight認(rèn)為，明年人工智能產(chǎn)業(yè)將遭遇一場(chǎng)「冷水澡」成本、風(fēng)險(xiǎn)和復(fù)雜性會(huì)帶來真正的挑戰(zhàn)，進(jìn)一步蓋過目前炒作的聲勢(shì)。CCS Insight的總部位于倫敦，首席分析師Ben Wood強(qiáng)調(diào)，「圍繞在2023生成式人工智能的炒作如此龐大，我們認(rèn)為已經(jīng)被過度炒作了，需要克服很多障礙才能進(jìn)入商業(yè)市場(chǎng)。」Ben Wood也認(rèn)為，部署和維持生成式人工智能的成本是非常巨大的，「雖然像Google或Meta這種大公司可以負(fù)擔(dān)，對(duì)許多組織來說，實(shí)在太昂貴了?！勾送?，該公司也提到人工智能
關(guān)鍵字： ChatGPT AI 人工智能

英偉達(dá)算力壟斷能否被打破？各大廠商下場(chǎng)展開自研AI芯片競(jìng)賽

以ChatGPT為首的生成式AI工具在全球范圍內(nèi)掀起了一股熱潮，拉升了對(duì)英偉達(dá)H100、A100、H800和A800等高性能GPU的需求，這使得該公司在全球AI GPU市場(chǎng)拿下達(dá)90%的市占率。
關(guān)鍵字：英偉達(dá) 算力 AI 芯片 AMD

報(bào)告稱 2027 年生成式 AI 用電量將超過某些國(guó)家一年耗電

IT之家 10 月 12 日消息，根據(jù) Digiconomist 網(wǎng)站創(chuàng)始人于 10 月 10 日在《Joule》期刊上發(fā)表論文，認(rèn)為以 ChatGPT、Bing Chat 為代表的生成式 AI，會(huì)產(chǎn)生龐大的能源足跡，未來可能會(huì)超過一些國(guó)家的電力需求。該論文作者，來自阿姆斯特丹自由大學(xué)的亞歷克斯?德弗里斯表示：“考慮到對(duì)人工智能服務(wù)不斷增長(zhǎng)的需求，未來幾年與人工智能相關(guān)的能源消耗很可能會(huì)顯著增加”，該研究強(qiáng)調(diào)到 2027 年，生成式人工智能所消耗的能源可為一個(gè)小國(guó)家提供一年的電力，相當(dāng)于約 85
關(guān)鍵字： AI 智能計(jì)算

AMD宣布收購(gòu)開源AI軟件專家Nod.ai

10月10日，AMD宣布簽署最終協(xié)議收購(gòu)Nod. ai，以拓展其開源 AI 產(chǎn)品能力。據(jù)AMD官網(wǎng)消息，10月10日，AMD宣布簽署最終協(xié)議收購(gòu)Nod. ai，以拓展其開源 AI 產(chǎn)品能力。Nod.ai將加速在AMD高性能平臺(tái)上部署優(yōu)化的人工智能解決方案，并強(qiáng)化AMD開源軟件戰(zhàn)略。AMD方表示，收購(gòu) Nod.ai 預(yù)計(jì)將大大增強(qiáng)其為 AI 客戶提供開發(fā)軟件的能力，使客戶能夠輕松部署針對(duì) AMD 硬件調(diào)整的高性能 AI 模型。
關(guān)鍵字： AMD Nod. ai AI開源

OpenAI擬進(jìn)行重大更新以更低成本吸引開發(fā)者

10月12日消息，據(jù)外媒援引知情人士透露，人工智能（AI）研究公司OpenAI計(jì)劃下個(gè)月為開發(fā)者推出重大更新，使基于其AI模型構(gòu)建軟件應(yīng)用的成本更低、速度更快。目前，OpenAI正試圖吸引更多公司使用其技術(shù)。此次更新包括為使用OpenAI模型的開發(fā)者工具增加內(nèi)存存儲(chǔ)。從理論上講，這可以將應(yīng)用程序開發(fā)商的成本削減20倍以上，解決合作伙伴的一個(gè)主要擔(dān)憂。這些合作伙伴使用OpenAI大模型的成本可能會(huì)迅速增加，但他們?cè)噲D通過開發(fā)和銷售AI軟件來建立可持續(xù)的業(yè)務(wù)。OpenAI還計(jì)劃推出新的工具，如視覺功能，這將使
關(guān)鍵字： OpenAI 人工智能 AI

?GPU市場(chǎng)開始分化，中國(guó)迎來更多商機(jī)

最近，關(guān)于 GPU，或與 GPU 相關(guān)的消息不斷，例如，OpenAI 正探索自研 AI 芯片，微軟將在今年 11 月推出自研的 AI 芯片，三星推出 Exynos 2400 處理器，自研的 GPU 再次升級(jí)，等等。這些都是市場(chǎng)和廠商尋求更多變化的體現(xiàn)。在全球半導(dǎo)體行業(yè)整體不景氣的 2023 年，只有 AI 服務(wù)器系統(tǒng)和相關(guān)芯片一枝獨(dú)秀，而 AI 服務(wù)器使用的處理器多數(shù)是 GPU，不幸的是（對(duì)于多數(shù) GPU 廠商而言），在這一僅有的優(yōu)秀市場(chǎng)，多數(shù)廠商都只能喝湯，有的甚至連湯都喝不上，唯一大口吃肉的是英偉達(dá)。
關(guān)鍵字： GPU