郵票大小、重量只有幾克,但卻集成了54億個(gè)硅晶體管,內(nèi)置了4096個(gè)內(nèi)核,100萬個(gè)“神經(jīng)元”、2.56億個(gè)“突觸”,能力相當(dāng)于一臺超級計(jì)算機(jī),功耗卻只有65毫瓦。
這就是IBM公布的最新仿人腦芯片:TrueNorth。
為什么要做TrueNorth?
因?yàn)樽?008年以來,美國國防部研究機(jī)構(gòu)DARPA給了IBM 5300萬美元。TrueNorth是IBM參與DARPA的研究項(xiàng)目SyNapse的最新成果。SyNapse全稱是Systems of Neuromorphic Adaptive Plastic Scalable Electronics(自適應(yīng)可塑可伸縮電子神經(jīng)系統(tǒng),而SyNapse正好是突觸的意思),其終極目標(biāo)是開發(fā)出打破馮 諾依曼體系的硬件。
為什么要打破馮 諾依曼體系?
馮 諾依曼體系是傳統(tǒng)計(jì)算機(jī)的基礎(chǔ)。這種體系的特點(diǎn)是存放信息和程序指令的內(nèi)存與處理信息的處理器是分離的。由于處理器是按照線序執(zhí)行指令的,所以必須不斷與內(nèi)存通過總線反復(fù)交換信息—而這個(gè)會成為拖慢速度和浪費(fèi)能量的瓶頸。盡管后來采用了多核芯片和緩存技術(shù),但是這些只能提高速度而不能降低太多能耗,而且沒辦法實(shí)時(shí)處理,因?yàn)橥ㄐ攀瞧款i—內(nèi)存和CPU的大量通信要通過總線進(jìn)行。因此,近幾十年來研究人員一直在致力于尋找突破原有體系的技術(shù)。
模仿大腦
模仿人類大腦是科學(xué)家尋求突破的方向。人類大腦的神經(jīng)元盡管傳導(dǎo)信號的速度很慢,但是卻擁有龐大的數(shù)量(千億級),而且每個(gè)神經(jīng)元都通過成千上萬個(gè)突觸與其他神經(jīng)元相連,形成超級龐大的神經(jīng)元回路,以分布式和并發(fā)式的方式傳導(dǎo)信號,相當(dāng)于超大規(guī)模的并行計(jì)算,從而彌補(bǔ)了單神經(jīng)元處理速度的不足。人腦的另一個(gè)特點(diǎn)是部分神經(jīng)元不使用時(shí)可以關(guān)閉,從而整體能耗很低。
在了解了人腦的這種機(jī)理之后,研究人員開始了在軟硬件上對人腦的模擬。在硬件方面,近年來主要是通過對大型神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真,如Google的深度學(xué)習(xí)系統(tǒng)Google Brain,微軟的Adam等。但是這些網(wǎng)絡(luò)需要大量傳統(tǒng)計(jì)算機(jī)的集群。比方說Google Brain就采用了1000臺各帶16核處理器的計(jì)算機(jī),這種架構(gòu)盡管展現(xiàn)出了相當(dāng)?shù)哪芰Γ悄芎囊廊痪薮蟆?/p>
而IBM則是在芯片上的模仿。
集成度和能效令人印象深刻
這種芯片把數(shù)字處理器當(dāng)作神經(jīng)元,把內(nèi)存作為突觸,跟傳統(tǒng)馮諾依曼結(jié)構(gòu)不一樣,它的內(nèi)存、CPU和通信部件是完全集成在一起。因此信息的處理完全在本地進(jìn)行,而且由于本地處理的數(shù)據(jù)量并不大,傳統(tǒng)計(jì)算機(jī)內(nèi)存與CPU之間的瓶頸不復(fù)存在了。同時(shí)神經(jīng)元之間可以方便快捷地相互溝通,只要接收到其他神經(jīng)元發(fā)過來的脈沖(動作電位),這些神經(jīng)元就會同時(shí)做動作。
2011年的時(shí)候,IBM首先推出了單核含256 個(gè)神經(jīng)元,256 256 個(gè)突觸和 256 個(gè)軸突的芯片原型。當(dāng)時(shí)的原型已經(jīng)可以處理像玩Pong游戲這樣復(fù)雜的任務(wù)。不過相對來說還是比較簡單,從規(guī)模上來說,這樣的單核腦容量僅相當(dāng)于蟲腦的水平。
不過,經(jīng)過3年的努力,IBM終于在復(fù)雜性和使用性方面取得了突破。4096個(gè)內(nèi)核,100萬個(gè)“神經(jīng)元”、2.56億個(gè)“突觸”集成在直徑只有幾厘米的方寸(是2011年原型大小的1/16)之間,而且能耗只有不到70毫瓦,IBM的集成的確令人印象深刻。
IBM的TrueNorth芯片結(jié)構(gòu)、功能、物理形態(tài)圖
這樣的芯片能夠做什么事情呢?IBM研究小組曾經(jīng)利用做過DARPA 的NeoVision2 Tower數(shù)據(jù)集做過演示。它能夠?qū)崟r(shí)識別出用30幀每秒的正常速度拍攝自斯坦福大學(xué)胡佛塔的十字路口視頻中的人、自行車、公交車、卡車等,準(zhǔn)確率達(dá)到了80%。相比之下,一臺筆記本編程完成同樣的任務(wù)用時(shí)要慢100倍,能耗卻是IBM芯片的1萬倍。
跟傳統(tǒng)計(jì)算機(jī)用FLOPS(每秒浮點(diǎn)運(yùn)算次數(shù))衡量計(jì)算能力一樣,IBM使用SOP(每秒突觸運(yùn)算數(shù))來衡量這種計(jì)算機(jī)的能力和能效。其完成460億SOP所需的能耗僅為1瓦—正如文章開頭所述,這樣的能力一臺超級計(jì)算機(jī),但是一塊小小的助聽器電池即可驅(qū)動。
通信效率極高,從而大大降低能耗這是這款芯片最大的賣點(diǎn)。TrueNorth的每一內(nèi)核均有256個(gè)神經(jīng)元,每一個(gè)神經(jīng)有分別都跟內(nèi)外部的256個(gè)神經(jīng)元連接。
但是相比之下,人腦有上千億個(gè)神經(jīng)元,每個(gè)神經(jīng)元又有成千上萬的突觸,那樣一個(gè)神經(jīng)網(wǎng)絡(luò)就更加無法想象了。IBM的最終目標(biāo)就是希望建立一臺包含 100 億個(gè)神經(jīng)元和 100 萬億個(gè)突觸的計(jì)算機(jī)—這樣的計(jì)算機(jī)要比人類大腦的功都強(qiáng)大10 倍,而功耗只有一千瓦,而且重量不到兩升(我們大腦的大?。?。
應(yīng)用
不過,計(jì)算能力并非這種最強(qiáng)大腦的長處,其強(qiáng)項(xiàng)在于認(rèn)知能力。認(rèn)知芯片可以執(zhí)行感知、交互、識別等任務(wù),就像演示中的識別對象一樣。IBM預(yù)計(jì)這種認(rèn)知能力可以在物聯(lián)網(wǎng)中充分能力,部署在傳感器中處理現(xiàn)實(shí)世界的感知問題。使用認(rèn)知計(jì)算機(jī)通過傳感器網(wǎng)絡(luò)和微型電機(jī)網(wǎng)絡(luò)不斷記錄和報(bào)告數(shù)據(jù)如溫度,壓力,波高,聲學(xué)和海潮等來監(jiān)測世界范圍內(nèi)的供水狀況。然后,它還可以在發(fā)生地震的情況下發(fā)出海嘯警報(bào)。而這樣的任務(wù)傳統(tǒng)計(jì)算機(jī)根本不可能完成?;蛘哌@種芯片也可以部署在它的Watson上面,從而大大提升這臺在智力競賽中戰(zhàn)勝人類冠軍的超級計(jì)算機(jī)的能力和能效。
因此,有人把IBM的芯片稱為是計(jì)算機(jī)史上最偉大的發(fā)明之一,將會引發(fā)技術(shù)革命,顛覆從云計(jì)算到超計(jì)算機(jī)乃至于智能手機(jī)等一切。
前景
但是從短期來看,情況也許并沒有那么樂觀。
首先芯片的編程仍然是個(gè)大問題。芯片的編程要考慮選擇哪一個(gè)神經(jīng)元來連接,以及神經(jīng)元之間相互影響的程度。比方說,為了識別上述視頻中的汽車,編程人員首先要對芯片的仿真版進(jìn)行必要的設(shè)置,然后再傳給實(shí)際的芯片。這種芯片需要顛覆以往傳統(tǒng)的編程思想,盡管IBM去年已經(jīng)發(fā)布了一套工具,但是目前編程仍非常困難,IBM團(tuán)隊(duì)正在編制令該過程簡單一點(diǎn)的開發(fā)庫。(當(dāng)然,如果我們回顧過去編程語言從匯編一路走來的歷史,這一點(diǎn)也許不會成為問題。)
其次,在部分專業(yè)人士看來,這種芯片的能力仍有待證實(shí)。
在神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)專家看來,DARPA的NeoVision2 Tower的數(shù)據(jù)集相對比較簡單,演示只是識別了5種對象,相對于Google和百度等圖像識別使用的是有上百萬中對象的ImageNet,芯片在這種測試集的表現(xiàn)如何尚不得而知。
再者,真正的認(rèn)知計(jì)算應(yīng)該能從經(jīng)驗(yàn)中學(xué)習(xí),尋找關(guān)聯(lián),提出假設(shè),記憶,并基于結(jié)果學(xué)習(xí),而IBM的演示里所有學(xué)習(xí)都是在線下的馮諾依曼計(jì)算機(jī)上進(jìn)行的。不過目前大多數(shù)的機(jī)器學(xué)習(xí)都是離線進(jìn)行的,因?yàn)閷W(xué)習(xí)經(jīng)常需要對算法進(jìn)行調(diào)整,而IBM的硬件并不具備調(diào)整的靈活性,不擅長做這件事情。但是IBM并不排除硬件實(shí)現(xiàn)的可能性(這家公司在歷史上已經(jīng)表現(xiàn)出極佳的持續(xù)改進(jìn)能力)。但是從事同類研究的LeCun認(rèn)為,應(yīng)該開發(fā)能實(shí)現(xiàn)最新算法的芯片,那種芯片應(yīng)該不是IBM芯片的樣子,而是類似于改良版的GPU(參見微軟的Adam)。
所以說,IBM的芯片是否真如其名稱TrueNorth所述、為計(jì)算機(jī)的未來找到了真正的方向,目前尚不得而知。但是,至少這款芯片超高集成度和超低能耗已經(jīng)給人留下了深刻印象。
IBM集成16塊TrueNorth芯片的電路板