全球最大開源大模型!馬斯克正式開源Grok AI
馬斯克的初創(chuàng)公司xAI信守諾言,將其首個(gè)大型語言模型Grok開源。馬斯克此前曾宣布,開源Grok的舉措將于本周實(shí)施。現(xiàn)在,任何其他企業(yè)家、程序員、公司或個(gè)人都可以體驗(yàn)和測試Grok——模型的人工神經(jīng)元或軟件模塊之間的連接強(qiáng)度,這些模塊使模型能夠做出決策、接受輸入并以文本形式提供輸出——以及其他相關(guān)文檔,并將模型的副本用于任何他們想要的東西,包括商業(yè)應(yīng)用。該公司在一篇博客文章中宣布:“我們正在發(fā)布我們的大型語言模型Grok-1的基本模型和網(wǎng)絡(luò)架構(gòu),Grok-1是xAI從頭開始訓(xùn)練的3140億參數(shù)混合專家模型。”
知情人士:馬斯克的SpaceX公司正在為美國情報(bào)機(jī)構(gòu)建立一個(gè)間諜衛(wèi)星網(wǎng)絡(luò)
據(jù)五名知情人士透露,SpaceX公司正在與美國情報(bào)機(jī)構(gòu)簽訂一份機(jī)密合同,建立一個(gè)由數(shù)百顆間諜衛(wèi)星組成的網(wǎng)絡(luò),這表明埃隆·馬斯克(Elon Musk)的太空公司與國家安全機(jī)構(gòu)之間的關(guān)系正在加深。消息人士稱,該網(wǎng)絡(luò)由SpaceX的星盾業(yè)務(wù)部門根據(jù)2021年與管理間諜衛(wèi)星的情報(bào)機(jī)構(gòu)國家偵察局(NRO)簽署的18億美元合同建造。
ChatGPT參數(shù)規(guī)模被扒:只有7B
南加州大學(xué)最新研究,ChatGPT參數(shù)規(guī)模很可能只有7B(70億)。南加大團(tuán)隊(duì)三位作者破解出了未公布的gpt-3.5-turbo嵌入向量維度(embedding size)為4096或4608。而幾乎所有已知的開源大模型如Llama和Mistral,嵌入向量維度4096的時(shí)候都是約7B參數(shù)規(guī)模。其它比例的話,就會造成網(wǎng)絡(luò)過寬或過窄,已被證明對模型性能不利。因此南加大團(tuán)隊(duì)指出,可以推測gpt-3.5-turbo的參數(shù)規(guī)模也在7B左右,除非是MoE架構(gòu)可能不同。數(shù)月前,曾有微軟CODEFUSION論文意外泄露當(dāng)時(shí)GPT-3.5模型參數(shù)為20B,在后續(xù)論文版本中又刪除了這一信息。
全面轉(zhuǎn)向生成式AI!蘋果推出300億參數(shù)多模態(tài)大模型
相較于英偉達(dá)、微軟等大型科技股,蘋果今年的表現(xiàn)令人失望不已,股價(jià)年內(nèi)跌逾10%,且失去了“全球市值最高公司”的寶座。背后原因很簡單,蘋果在這場人工智能(AI)競賽中落伍了。為了擺脫窘境,蘋果近期放棄了造車項(xiàng)目,正在全面轉(zhuǎn)向生成式AI領(lǐng)域,并且很快有了新動作。就在近日,蘋果公司研發(fā)團(tuán)隊(duì)發(fā)布了一篇論文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》,首次公布了多模態(tài)大模型MM1,展示了該公司在AI方面的進(jìn)展與實(shí)力。據(jù)悉,MM1最高參數(shù)量為300億,該模型支持增強(qiáng)的上下文學(xué)習(xí)和多圖像推理,在一些多模態(tài)基準(zhǔn)測試中有較好表現(xiàn)。
國家數(shù)據(jù)局:加快構(gòu)建全國一體化算力網(wǎng) 推動建設(shè)中國式現(xiàn)代化數(shù)字基座
國家數(shù)據(jù)局黨組書記、局長劉烈宏在《求是》發(fā)表署名文章稱,大道至簡,實(shí)干為要。當(dāng)前,數(shù)字化、智能化發(fā)展動力澎湃,為我國以高質(zhì)量發(fā)展全面推進(jìn)中國式現(xiàn)代化提供了難得的歷史機(jī)遇。我們要深入貫徹全國一體化大數(shù)據(jù)中心體系建設(shè)的戰(zhàn)略部署,堅(jiān)持問題導(dǎo)向、目標(biāo)導(dǎo)向,以釘釘子精神抓工作落實(shí),從產(chǎn)業(yè)生態(tài)、算力供給、網(wǎng)絡(luò)傳輸、調(diào)度運(yùn)營、技術(shù)創(chuàng)新等多維度發(fā)力,構(gòu)建聯(lián)網(wǎng)調(diào)度、普惠易用、綠色安全的全國一體化算力網(wǎng),加快實(shí)現(xiàn)算力基礎(chǔ)設(shè)施化,以算力經(jīng)濟(jì)高質(zhì)量發(fā)展更好服務(wù)國家數(shù)據(jù)事業(yè)發(fā)展全局,推動建設(shè)中國式現(xiàn)代化數(shù)字基座。
奔馳汽車工廠試點(diǎn) Apollo 機(jī)器人:從事搬運(yùn)、裝配等繁重體力活
德國車企梅賽德斯-奔馳(Mercedes-Benz)和通用仿人機(jī)器人開發(fā)商 Apptronik 宣布達(dá)成協(xié)議,雙方將合作探索高科技機(jī)器人 Apollo,主要從事搬運(yùn)、裝配零部件等繁重的低技能勞動。Apollo 仿人機(jī)器人高 173 厘米,重 73 千克,能舉起重達(dá) 25 千克的重物,定位是在工業(yè)環(huán)境中輔助員工。根據(jù)雙方協(xié)議,奔馳將啟動試點(diǎn)項(xiàng)目,在汽車制造過程中,測試 Apptronik 公司的 Apollo 仿人機(jī)器人執(zhí)行各種任務(wù)的能力,例如向生產(chǎn)線運(yùn)送組裝套件、檢查零部件等等。
國家發(fā)改委:加快設(shè)在新區(qū)的國家新一代人工智能創(chuàng)新發(fā)展試驗(yàn)區(qū)和國家人工智能創(chuàng)新應(yīng)用先導(dǎo)區(qū)建設(shè)
國家發(fā)展改革委發(fā)布促進(jìn)國家級新區(qū)高質(zhì)量建設(shè)行動計(jì)劃。支持新區(qū)優(yōu)化重點(diǎn)產(chǎn)業(yè)布局。有序推進(jìn)智能制造和數(shù)字化轉(zhuǎn)型。加快設(shè)在新區(qū)的國家新一代人工智能創(chuàng)新發(fā)展試驗(yàn)區(qū)和國家人工智能創(chuàng)新應(yīng)用先導(dǎo)區(qū)建設(shè),上海浦東新區(qū)帶動賦能千家企業(yè)數(shù)字化轉(zhuǎn)型,天津?yàn)I海新區(qū)打造一批典型應(yīng)用場景。研究支持在有條件的新區(qū)所在地方布局建設(shè)未來產(chǎn)業(yè)先導(dǎo)區(qū)。依托設(shè)在新區(qū)的中小企業(yè)數(shù)字化轉(zhuǎn)型試點(diǎn)和新區(qū)承擔(dān)的建設(shè)國家算力樞紐節(jié)點(diǎn)等重要任務(wù),實(shí)施智能制造重大項(xiàng)目,布局一批工業(yè)互聯(lián)網(wǎng)平臺。
深圳:新增建設(shè)5G基站3000個(gè)以上 邊緣計(jì)算中心15個(gè)
日前,深圳發(fā)布了《深圳市極速寬帶先鋒城市2024年行動計(jì)劃》,該計(jì)劃致力于到2024年底,初步構(gòu)建出泛在先進(jìn)、高速智能、天地一體的新型信息基礎(chǔ)設(shè)施體系,確保網(wǎng)絡(luò)供給能力和服務(wù)水平達(dá)到全球頂尖水準(zhǔn),從而打造出世界領(lǐng)先、模式創(chuàng)新的極速寬帶先鋒城市。其中,推動5G-A技術(shù)的引領(lǐng)發(fā)展被列為首要任務(wù)。計(jì)劃提出,將新增超過3000個(gè)5G基站,并升級支持超過5000個(gè)5G-A基站。此外,還將在低空經(jīng)濟(jì)、智慧交通等關(guān)鍵領(lǐng)域試點(diǎn)應(yīng)用10個(gè)以上的5G-A融合項(xiàng)目。按照“城市+園區(qū)+邊緣”的總體布局,全市計(jì)劃新增3萬個(gè)標(biāo)準(zhǔn)機(jī)架,并規(guī)劃布局10個(gè)園區(qū)配套數(shù)據(jù)中心。同時(shí),還將建設(shè)15個(gè)邊緣計(jì)算中心,旨在打造“城市內(nèi)1毫秒,到韶關(guān)樞紐節(jié)點(diǎn)3毫秒,到貴安樞紐節(jié)點(diǎn)10毫秒”的超低時(shí)延圈,為城市的數(shù)字化轉(zhuǎn)型和智能化升級提供堅(jiān)實(shí)的信息通信基礎(chǔ)。