馬斯克宣布推出全球“最強大”的AI訓(xùn)練集群

責(zé)任編輯:cres

作者:Carl Franzen

2024-07-23 10:40:58

來源:企業(yè)網(wǎng)D1Net

原創(chuàng)

馬斯克宣布,xAI已經(jīng)開始在全球最強大的AI訓(xùn)練集群——位于田納西州孟菲斯的孟菲斯超級集群上進行訓(xùn)練,該集群包含10萬個液冷的Nvidia H100圖形處理單元,旨在到2024年12月訓(xùn)練出世界上最強大的AI。

馬斯克目前管理著至少六家創(chuàng)新公司:Tesla、SpaceX、Starlink、X(前身為Twitter)、Neuralink和xAI,但他并不滿足于此。
 
這位多家公司的領(lǐng)導(dǎo)者在X上宣布,xAI——通過X向付費用戶提供名為Grok的大型語言模型(LLM)和同名聊天機器人——已經(jīng)開始在世界上“最強大的AI訓(xùn)練集群”上進行訓(xùn)練,這個被稱為孟菲斯超級集群的系統(tǒng)位于田納西州孟菲斯市。
 
據(jù)當(dāng)?shù)匦侣劽襟wWREG報道,這個超級集群位于該市的西南部,是該市歷史上由新進企業(yè)進行的最大的資本投資,然而,xAI尚未與當(dāng)?shù)毓檬聵I(yè)公司田納西河谷管理局簽訂合同,而該合同是提供超過100兆瓦電力項目所必需的。
 
滿載Nvidia H100
 
盡管如此,馬斯克進一步詳細(xì)說明,這個集群由10萬個液冷的H100圖形處理單元(GPU)組成,這些芯片自去年起由Nvidia提供,受到包括馬斯克的競爭對手(也是前朋友)OpenAI在內(nèi)的AI模型提供商的高度需求。
 
馬斯克還指出,該集群運行在單一的RDMA(遠(yuǎn)程直接內(nèi)存訪問)結(jié)構(gòu)上,這是一種通過不增加中央處理器(CPU)負(fù)擔(dān)來在計算節(jié)點之間提供更高效、低延遲數(shù)據(jù)傳輸?shù)姆椒ā?/div>
 
xAI 計劃在2024年12月前提供“各項指標(biāo)上最強大的AI”
 
顯然,xAI 計劃在超級集群上訓(xùn)練其自身的LLM,但更重要的是,馬斯克在回復(fù)中表示,該公司目標(biāo)是在“今年12月前”訓(xùn)練出“世界上最強大的AI”。
 
他還表示,孟菲斯超級集群將為此提供“顯著優(yōu)勢”。
 
對于他的許多雄心壯志和成功來說,馬斯克因公開提出并錯過多個項目的截止日期而臭名昭著,如全自動駕駛汽車、機器人出租車和將人類送上火星,所以我不會對2024年12月的新Grok LLM抱太大期待,但如果能在這個時間框架內(nèi)實現(xiàn),那將是對xAI努力的一個巨大推動。
 
尤其是OpenAI、Anthropic、Google、Microsoft和Meta都在追求更強大、更實惠的LLM和SLM的情況下,如果xAI希望在爭奪客戶、用戶和注意力的AI競賽中保持競爭力,就需要一個新的、有用的模型。
 
實際上,據(jù)The Information報道,OpenAI的支持者Microsoft正與OpenAI首席執(zhí)行官Sam Altman合作開發(fā)一個代號為Stargate、價值1000億美元的AI訓(xùn)練超級計算機。根據(jù)其發(fā)展情況,xAI的孟菲斯超級集群可能不會長時間保持世界上最強大的地位。
 
企業(yè)網(wǎng)D1net(r5u5c.cn):
 
國內(nèi)主流的to B IT門戶,旗下運營國內(nèi)最大的甲方CIO專家?guī)旌椭橇敵黾吧缃黄脚_-信眾智(www.cioall.com)。旗下運營19個IT行業(yè)公眾號(微信搜索D1net即可關(guān)注)。
 
版權(quán)聲明:本文為企業(yè)網(wǎng)D1Net編譯,轉(zhuǎn)載需在文章開頭注明出處為:企業(yè)網(wǎng)D1Net,如果不注明出處,企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號