隨著神經(jīng)網(wǎng)絡的研究和應用越來越多,人們也越發(fā)地認識到神經(jīng)網(wǎng)絡所需的計算力近乎于無底洞 。如果說高校實驗室和一般愛好者在耐心等待之外辦法不多的話,大公司們要面對的則是“做還是不做”的問題。
英特爾、英偉達、微軟、谷歌這幾年為了“做”,都有哪些舉動呢?紐約時報的這篇文章可以帶我們看看這一變化的梗概。雷鋒網(wǎng)(公眾號:雷鋒網(wǎng)) AI 科技評論編譯如下,有刪改。
最近人們希望電腦能做的事情越來越多。電腦要跟人對話,要能認出人臉,也要能認出路邊的小花,再過不久還要給人類開車。所有這些人工智能都需要極高的計算能力,即便當下最先進的電腦也沒法隨隨便便完成。
為了能夠滿足高速增長的計算需求,一些科技巨頭們現(xiàn)在正從生物學中尋找靈感。他們正在重新思考電腦的本質(zhì),然后建造更像人類大腦的機器:神經(jīng)系統(tǒng)里要有一個中央腦干,然后把聽、說這樣的具體任務交給周圍的大腦皮層去做。他們希望電腦也能這樣。
新時代的萌芽在連續(xù)幾年的緩步發(fā)展以后,計算機終于又開始進化了,換上了新樣子的計算機會產(chǎn)生廣泛而持久的影響。它們能夠大大提高人工智能系統(tǒng)的運行速度,也許未來某一天“機器人可以統(tǒng)治世界”的夢想也可以成真。這種轉(zhuǎn)換也會削弱芯片巨頭英特爾的地位。從提供互聯(lián)網(wǎng)服務的數(shù)據(jù)中心、手里的iPhone到VR頭盔和無人機,所有科技產(chǎn)品的核心都是半導體芯片。隨著新型芯片的時代來臨,目前年產(chǎn)值三千億美元的半導體工業(yè)很可能會完全變個樣子。
現(xiàn)任谷歌母公司Alphabet董事的 John Hennessy 曾任斯坦福大學校長,1990年代他出版寫過一本計算機設(shè)計的權(quán)威著作。“這是一場巨大的變革,”他說,“現(xiàn)在的這一套做法馬上就要過時了,大家都想重新開發(fā)一套系統(tǒng)架構(gòu)。”
現(xiàn)有的計算機架構(gòu)也有過自己的好日子。在過去的接近五十年里,計算機的設(shè)計者們都圍繞著一塊單獨的、全能的芯片設(shè)計整個系統(tǒng)。這個全能的芯片就是CPU,臺式電腦、筆記本電腦里都有,往往來自英特爾;手機里有時候也有英特爾的CPU。英特爾也是全球最大的半導體生廠商之一。
更復雜的系統(tǒng)在計算機工程師中間變得流行起來。以前可能所有的任務都要傳到英特爾CPU中完成,現(xiàn)在的計算機則會把任務分成許多的小塊,然后把它們交給外圍的專用芯片完成,這些芯片結(jié)構(gòu)比CPU簡單、耗電也要更少。
谷歌的大型數(shù)據(jù)中心里的變化是對全行業(yè)未來走向的一個預兆。谷歌大多數(shù)的服務器里都還有一個CPU,但是現(xiàn)在有數(shù)不清的定制化芯片和它們共同工作,為語音識別等人工智能應用提供運算支持。
實實在在的需求推動了谷歌的這一變化。多年以來,谷歌都有著全世界最大的計算機網(wǎng)絡,簡直像是一個數(shù)據(jù)中心和線纜組成的帝國,從加利福尼亞一直擴張到芬蘭和新加坡。然而,對這位谷歌的研究員來說,這樣的網(wǎng)絡還是太小了。
Jeff Dean 和谷歌為人工智能應用開發(fā)的TPUJeff Dean 是谷歌最出名、最受人尊敬的工程師之一。2011年他開始帶領(lǐng)團隊探索“神經(jīng)網(wǎng)絡”的想法。這種想法的核心是讓計算機算法自己學習任務,然后可以用在很多的場合中,比如識別手機用戶的語音輸入,又或者是照片中的人臉。只花了幾個月的時間,Jeff Dean 和他的團隊就開發(fā)出了一個基于神經(jīng)網(wǎng)絡語音識別系統(tǒng),它識別對話的準確率要比谷歌那時已有的系統(tǒng)高得多。但接下來也有一個麻煩,全世界運行谷歌的安卓系統(tǒng)的智能手機已經(jīng)超過了10億部,假設(shè)這些手機用戶們每天只用3分鐘語音識別,根據(jù) Jeff Dean 的計算,谷歌也需要把現(xiàn)有的數(shù)據(jù)中心容量翻一倍才能支持得了。
監(jiān)控著谷歌“數(shù)據(jù)中心帝國”運行的是計算機科學家 Urs H lzle,在一次開會的時候 Jeff Dean 就對他說:“我們需要再建立一個谷歌”,后來有參會者回憶道。但這個想法實現(xiàn)不了,Jeff Dean 就提出了一個替代方案:自己造一種專門運行這種人工智能的芯片。
谷歌數(shù)據(jù)中心里的這個苗頭已經(jīng)擴散到了其它科技巨頭的身上。在未來幾年里,谷歌、蘋果、三星等公司都會制造帶有專用的AI芯片的手機。微軟設(shè)計的這種芯片打算專門用在AR頭盔上,然后谷歌、豐田等一大群造自動駕駛汽車的廠商也會需要類似的芯片。
這種研發(fā)專用芯片和新計算機架構(gòu)的熱潮,在美國國防部研究機構(gòu) DARPA 的前項目管理人員 Gill Pratt 看來可謂是人工智能界的“寒武紀生物大爆發(fā)”,他本人現(xiàn)在正在豐田從事無人車的研究。他已經(jīng)感覺到,把不同的計算分散給數(shù)量眾多的小面積、低功耗芯片的運行方式,會讓機器更像人腦,這也讓能源的利用效率提高了不少。“在生物的大腦中,能源效率至關(guān)重要”,在近期的一次采訪中,身處豐田在硅谷的新研究中心的 Gill 這樣說。
地平線已經(jīng)發(fā)生變化硅基的計算機芯片有很多種。有的芯片可以存儲數(shù)據(jù),有的芯片可以完成玩具和電視機中的基本任務;也有的芯片可以運行計算機上的各種運算,它們大到能構(gòu)造全球變暖模型的超級計算機用的芯片,小到個人計算機、服務器和手機上用的。
多年以來,計算機和類似的設(shè)備都是以CPU為核心運行的,CPU也是設(shè)備成本的大頭。這一切都似乎不需要做什么改變。根據(jù)英特爾聯(lián)合創(chuàng)始人戈登·摩爾提出的著名的摩爾定律,計算機芯片中晶體管數(shù)量每兩年左右就會翻一番,幾十年來計算機性能的提升就是按照摩爾定律一路穩(wěn)定地發(fā)展了過來。而根據(jù) IBM 研究員 Robert Dennard 提出的 Dennard 縮放定律,芯片性能提升的同時,它們消耗的能源卻幾乎維持不變。所以在以往的日子里一切都還好。
然而到了2010年,讓晶體管數(shù)量再翻一倍花的時間比摩爾定律預測的更長了,Dennard 縮放定律也失效了,因為芯片設(shè)計人員們遇到了來自材質(zhì)物理特性本身的限制。結(jié)果就是,如果想要更高的計算能力,只靠升級CPU已經(jīng)不能解決問題了,需要增加更多的計算機、消耗更多的空間和電力。
語音和語言團隊負責人黃學東(左)和計算架構(gòu)組的 Doug Burger 都是微軟的專用芯片開發(fā)團隊成員業(yè)界和學術(shù)界的研究者們都在想辦法延長摩爾定律的生命力,探索全新的芯片材料和芯片設(shè)計方法。但是微軟研究員 Doug Burger 有了另一種想法:除了整個業(yè)界從1960年代以來都倚仗的CPU的穩(wěn)步進化之外,為什么不試著探索專用芯片之路呢?
當時微軟才剛剛開始用機器學習改進必應搜索,通過分析用戶的使用方式改善搜索結(jié)果。雖然那時候的算法對硬件的要比后來風靡的神經(jīng)網(wǎng)絡低得多,但是芯片已經(jīng)有點跟不上了。
Doug Burger 和他的團隊做了很多不同的嘗試,最終決定用了這種叫做“FPGA”(現(xiàn)場可編程矩陣門陣列)的芯片,它們可以在工作過程中重新編程,適應新的任務。微軟的Windows需要運行在英特爾的CPU上,但是CPU是不能重新編程的,一旦造出來,能做什么就固定了。有了FPGA,微軟就可以改變芯片工作的方式。他們可以先對芯片編程,讓它在特定的機器學習算法中表現(xiàn)非常好;然后可以重新編程,讓它適合做邏輯運算。同一個芯片可以有截然不同的表現(xiàn)。
大概2015年前后,微軟開始應用這類芯片。到現(xiàn)在,幾乎每一臺微軟的數(shù)據(jù)中心新增的服務器中都帶有一塊FPGA芯片,它們幫助呈現(xiàn)必應搜索的結(jié)果,以及支持著微軟的云計算服務Azure。
給計算機裝上耳朵2016年秋天,另一組微軟的研究員們做了和 Jeff Dean 的團隊同樣的工作,構(gòu)建了一個比人類的平均水平還要高一點點的語音識別系統(tǒng),也是通過神經(jīng)網(wǎng)絡。
這個項目的負責人就是黃學東,他是來自中國的語音識別專家。在介紹這項工作的論文發(fā)表之后沒多久,他就約了他的好朋友、英偉達 CEO黃仁勛在 Palo Alto 吃了個飯。他們開了一瓶香檳慶祝。
黃學東和他的微軟同事們就是靠著數(shù)量眾多的英偉達 GPU訓練出他們的語音識別系統(tǒng)的。沒有繼續(xù)使用英特爾的CPU。如果沒有做這樣的轉(zhuǎn)換,他們很可能完成不了這項突破。“我們花了差不多一年的時間達到了人類的水平”,黃學東說。“如果沒有新計算架構(gòu)的幫助,我們可能至少要花5年。”
基于神經(jīng)網(wǎng)絡的系統(tǒng)可以很大程度上自己學習,所以它們進化得比傳統(tǒng)方法設(shè)計的系統(tǒng)快得多。以往的系統(tǒng)需要工程師們寫下無數(shù)行代碼,仔仔細細描述系統(tǒng)應該如何如何做。基于神經(jīng)網(wǎng)絡的系統(tǒng)就不需要這樣。不過神經(jīng)網(wǎng)絡的問題就是,它需要無數(shù)次的試錯。要構(gòu)建一個單詞識別達到人類水平的系統(tǒng),研究者們需要花費很多時間反復訓練它,對算法做精細的調(diào)節(jié),以及不斷優(yōu)化訓練數(shù)據(jù)。這個過程里需要嘗試成百上千算個不同的算法,每個算法又需要運行上萬、上億次。這需要龐大的計算能力,如果微軟這樣的公司用一般的通用芯片來做這樣的計算,這個過程花的時間就太久了,芯片可能支持不了這樣高的負載,用掉的電也太多了。
所以,幾個互聯(lián)網(wǎng)巨頭都已經(jīng)借助英偉達的GPU訓練自己的神經(jīng)網(wǎng)絡。GPU本來的設(shè)計只是為了用在游戲圖形渲染中的,專用的設(shè)計讓它們保持了CPU近似水平的功耗,但是在神經(jīng)網(wǎng)絡訓練中的計算速度要比CPU高很多?,F(xiàn)在GPU就和CPU聯(lián)手負責計算機中的運算。
英偉達借著這個機會大舉擴張,向美國以及全世界的科技公司銷售了大量的GPU,中國公司的購買數(shù)量尤為驚人。英偉達季度營收中數(shù)據(jù)中心業(yè)務的部分,在過去的一年中翻了3倍,超過了4億美元。
“有點像是互聯(lián)網(wǎng)剛興起的那時候就走對了路”,黃仁勛在最近的一個采訪中說。換句話說,科技界的局勢正在快速改變,英偉達正處在這場改變的中心。
創(chuàng)造專用芯片GPU是各個公司訓練神經(jīng)網(wǎng)絡的重要基石,不過這也只是整個過程中的一部分。當神經(jīng)網(wǎng)絡訓練完畢以后就可以開始執(zhí)行任務,這時候需要的計算能力又有所不同。
比如,在訓練好一個語音識別算法以后,微軟會把它作為一個線上服務提供出來,然后它就可以開始識別人們講給自己手機的指令。GPU在這種時候就沒有那么高效了。所以很多公司現(xiàn)在都開始制造專門用于執(zhí)行所學到的東西的芯片。
谷歌造了自己的專用芯片:TPU。英偉達也在造類似的芯片。微軟在繼續(xù)對 FPGA 芯片重新編程來讓它們更適合運行神經(jīng)網(wǎng)絡,這些芯片來自英特爾收購的 Altera。
其它的公司也在后面追趕。專做智能手機用的ARM芯片的高通,以及數(shù)量客觀的初創(chuàng)公司都在研發(fā)AI芯片,希望能在這個快速成長的市場中分一杯羹。根據(jù)科技調(diào)研公司 IDC 預計,到2021年,帶有替代計算芯片的服務器將達到68億美元的銷售額,大致是整個服務器市場的十分之一。
Bart Sano 表示目前 TPU 也只是谷歌整個網(wǎng)絡運營里的一小部分Doug Burger 透露,在微軟全球的服務器網(wǎng)絡中,替代計算芯片只占了所有運營中很小的一部分。谷歌的網(wǎng)絡軟硬件研發(fā)工程副總裁 Bart Sano 表示谷歌的數(shù)據(jù)中心也是類似的狀況。
英特爾實驗室的主管 Mike Mayberry 已經(jīng)向著替代計算芯片開始發(fā)起努力??赡苁且驗橛⑻貭栒紦?jù)著數(shù)據(jù)中心市場90%的市場份額,從而也是傳統(tǒng)芯片的最大的銷售商。他說,如果對CPU做一些適當?shù)男薷?,它們也可以應對新的任務而無需其它幫助。
不過這個硅片的新浪潮擴散得很快,英特爾的市場地位也越來越糾結(jié)。它一方面否認市場正在發(fā)生變化,但是又或多或少地轉(zhuǎn)換著自己的業(yè)務避免掉隊。2年前,英特爾花費了高達167億美元收購了Altera,這家公司造的就是微軟使用的FPGA。這是英特爾歷史上最大的收購。去年,英特爾又收購了一家開發(fā)專門用于神經(jīng)網(wǎng)絡的公司 Nervana,據(jù)說又花了超過4億美元。如今,在Nervana團隊的領(lǐng)導下,英特爾也在開發(fā)一款專門用于神經(jīng)網(wǎng)絡訓練和執(zhí)行的芯片。
硅谷風投公司紅杉資本的合伙人 Bill Coughran 在過去的接近10年中為谷歌的互聯(lián)網(wǎng)基礎(chǔ)設(shè)施出謀劃策,他的工作內(nèi)容基本針對的就是英特爾。他表示,“他們都有大公司病,他們需要想清楚如何踏入這片新的、成長中的領(lǐng)域,而且還不損害他們的傳統(tǒng)業(yè)務。”
當英特爾內(nèi)部高管們討論摩爾定律失效的狀況時,他們內(nèi)部的混亂連公司外的人都看得到。在近期一次紐約時報的采訪中,Nervana創(chuàng)始人、現(xiàn)在已是英特爾高管的Naveen Rao表示,英特爾其實可以讓摩爾定律“再堅持幾年”。從官方口徑上講,英特爾的姿態(tài)是傳統(tǒng)芯片的改善在未來10年都還可以順利地進行下去。
英特爾實驗室的主管 Mike Mayberry 則表示加一兩塊芯片不是什么新鮮事了,他說以前的電腦里就有單獨的芯片來處理聲音之類的事情。
不過現(xiàn)在的趨勢要比以前大多了,而且從新的層面上改變著這個市場。英特爾面前的競爭對手不僅有英偉達和高通的這樣的芯片制造商,還有谷歌和微軟這樣一直以來都相當“軟”的公司。谷歌已經(jīng)在設(shè)計第二代的TPU芯片了。根據(jù)谷歌的說法,今年晚些時候,任何谷歌云計算服務的客戶或者開發(fā)者都可以在新的TPU芯片上面運行他們自己的軟件。
雖然目前這些事情都還只發(fā)生在消費者視野之外的大型數(shù)據(jù)中心里,但是這對整個IT工業(yè)體系產(chǎn)生廣泛的影響恐怕只是時間問題。人們最期待的是,隨著新型移動芯片的到來,手持設(shè)備也可以獨立完成更多、更復雜的任務,不再需要把任務交給幾百公里外的數(shù)據(jù)中心,無論是智能手機無需互聯(lián)網(wǎng)也能識別語音指令,還是無人駕駛汽車可以用現(xiàn)在無法企及的速度和精度識別周邊的世界。
換句話說,無人駕駛汽車少不了攝像頭和雷達,但是同樣少不了一顆好的大腦。