近年來,人工智能在經(jīng)歷了兩次大的低潮后又成為科技界的大熱門,這和深度學(xué)習(xí)這個分支的勃興有很大的關(guān)系。在訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的時候,人們也越發(fā)認識到,具有大的數(shù)據(jù)吞吐量,且可以并行計算的GPU比CPU擁有更快的訓(xùn)練速度,更低的功耗,這一度讓CPU的王者英特爾感到異常緊張和失落。
好在,人工智能硬件平臺爭奪的序幕才剛剛拉開。隨著時間的推移,人們很快發(fā)現(xiàn)相比GPU和CPU,F(xiàn)PGA具有的低能耗、高性能以及可編程等特性,十分適合感知計算,而且可以做到快速部署。2015年,英特爾便動用167億美元收購了當(dāng)時全球第二大FPGA廠商Altera,也是有史以來最大的一筆收購案。
也是在那一年,憑借擁有號稱最快的深度學(xué)習(xí)框架 neon和首個結(jié)合機器智能軟硬件云服務(wù)的Nervana Cloud,深度學(xué)習(xí)初創(chuàng)公司 Nervana 被 VentureBeat 評為值得關(guān)注的五家深度學(xué)習(xí)初創(chuàng)公司,次年8月,暗中觀察許久的英特爾豪擲4億美元將僅有48名員工的Nervana收入了囊中。
2017年3月,Nervana 以及其他英特爾內(nèi)部的人工智能相關(guān)業(yè)務(wù)和資源被整合進一個部門,即人工智能產(chǎn)品事業(yè)部(AIPG),由Nervana的聯(lián)合創(chuàng)始人、前CEO Naveen Rao來領(lǐng)導(dǎo),直接向英特爾CEO科再奇匯報。
據(jù)AI科技大本營了解,在整合了 Nervana 的技術(shù)之后,英特爾AIPG 計劃推出 Crest 家族系列產(chǎn)品線。首先亮相的是一款叫做 Lake Crest 的芯片,它是專為訓(xùn)練DNN而深度定制的ASIC解決方案,預(yù)計今年下半年測試,2018年上市。據(jù) Naveen Rao 曾經(jīng)對媒體介紹,相對于目前最快的GPU, Lake Crest的加速性能是它的10倍。
在近日英特爾舉辦的人工智能端到端技術(shù)研討會上,英特爾AIPG資深首席工程師Andres Rodriguez介紹了英特爾在AI方面的技術(shù)布局、產(chǎn)業(yè)趨勢以及Nervana系列芯片的進展情況。
英特爾AIPG資深首席工程師:Andres Rodriguez
據(jù)Andres Rodriguez介紹:Lake Crest 使用了Flexpoint架構(gòu),MCM多芯片封裝,搭載32GB HBM2存儲,內(nèi)部互聯(lián)速度是PCIe的20倍。
會后AI科技大本營記者對Andres Rodriguez進行了專訪。
Andres透露,Lake Crest 的測試時間之所以從2017年的上半年推遲到了下半年,是因為Nervana在被intel整合后,其產(chǎn)品的質(zhì)量需要滿足英特爾平臺的高標準,所以他們添加了一些額外的驗證,這或多或少的會影響產(chǎn)品開發(fā)的速度。
在被問到目前的工作狀態(tài)和Nervana被收購前有何不同時,Andres表示他們的工作模式其實并沒有發(fā)生特別大的變化,仍保持著一個初創(chuàng)企業(yè)勇往直前的狀態(tài)。 只是由于被英特爾收購后,客戶的期待變得更高,壓力也更大了。
寫到這里正準備截稿,AI科技大本營記者在9月12日南京政府主辦的中國人工智能峰會上邂逅了曠視科技的首席科學(xué)家孫劍博士,當(dāng)被問及2018以后會不會在訓(xùn)練時考慮Lake Crest芯片這個問題,孫博士表示可能會吧,但硬件平臺那么多不可能每家都去試,言下之意是畢竟公司已經(jīng)和英偉達深度合作了,所以……
深度學(xué)習(xí)芯片的架構(gòu)能否被英特爾重新定義需要到2018年才能驗證,而在Lake Crest上市后,如何改變用戶的使用習(xí)慣也是需要英特爾好好思考的問題。
Andres Rodriguez接受AI科技大本營記者專訪
以下為Andres Rodriguez的采訪實錄,AI科技大本營做了不改變原意的整理:
關(guān)于Nervana系列芯片:Lake Crest年底測試,2018年量產(chǎn)
問:Nervana系列芯片的定位是什么,它和GPU相比有什么不同?
Andres Rodriguez:首先,我想簡單介紹一下英特爾Nervana人工智能平臺,作為我們的NPU,它是Crest家族產(chǎn)品。
和GPU相比,其實主要有兩點不同:
第一個不同點是作為整個Nervana AI平臺,Lake Crest是為了深度學(xué)習(xí)而量身定制的,因此它本身并沒有內(nèi)置圖像顯卡,換句話說它并不支持相關(guān)圖像的處理,這是跟GPU很大的不同之處。
第二個重要的不同在于它的計算能力包括性能上都是針對深度學(xué)習(xí)而進行的量身優(yōu)化。
當(dāng)然,也有一些相似之處,比如整個Crest家族產(chǎn)品來講,包括市面上一些最新的芯片產(chǎn)品,都是擁有高寬帶內(nèi)存,不用通過CPU就可以進行整個芯片之間包括核心之間的直接互聯(lián)。
同時整個Nervana AI平臺是為了深度學(xué)習(xí)而量身打造的,那么不管是硬件平臺還是軟件平臺都可以達到一個很好的整合。
問:我經(jīng)常聽到有關(guān)媒體提到Nervana芯片在深度學(xué)習(xí)訓(xùn)練方面,比GPU擁有更強的加速??煞襻槍π缘恼勔徽勗谟嬎闼俣群陀嬎懔@些方面它的具體性能是什么。
Andres Rodriguez:我們產(chǎn)品整個詳細的細節(jié)目前只對簽了保密協(xié)議的客戶開放,具體內(nèi)容到今年年底才能公開。性能或是功耗提升具體的數(shù)字我暫時不能透露給您。但是可以說的是,與其他系列產(chǎn)品相比,我們利用度是非常高。
問:說起Lake Crest上市或者測試的時間,之前有消息稱應(yīng)該是在今年上半年,但是為什么推遲到下半年,中間是遇到了什么困難嗎?
Andres Rodriguez:因素是多方面的,其中有一個最主要的原因是在英特爾進一步的整合Nervana平臺之后,對于Nervana芯片必須進行更加嚴格的測試,才能讓它更好的滿足英特爾目前對芯片質(zhì)量的要求,同時也能夠滿足英特爾在全產(chǎn)品質(zhì)量以及全平臺系列的高標準。 正是基于這一個要求,我們必須要做很多的測試工作。
問:Lake Crest或者是Crest家族的芯片是如何支持像Caffe、Torch、TensorFlow這些比較流行的人工智能框架?
Andres Rodriguez:不管是Lake Crest、至強還是Movidius、FPGA,我們對其他框架提供支持的方式,整體流程都是比較一致的。
首先用戶會把自己的模型寫入他所替代的框架當(dāng)中,在整個框架底部會有專門針對深度學(xué)習(xí)所打造的內(nèi)容庫,針對不同的內(nèi)容庫我們會對架構(gòu)進行優(yōu)化。
這里我可以拿TensorFlow舉個例子,TensorFlow有一個量身定制的算法,同時至強處理器、FPGA都有專門的單元庫。不管你使用的哪個框架、哪種不同的硬件,我們都會針對具體內(nèi)容對它的單元庫進行優(yōu)化,整個的方法相對來講是比較一致的。
問:Crest家族的芯片適用于哪些具體的應(yīng)用場景?
Andres Rodriguez:整個Crest芯片家族的系列產(chǎn)品,都是針對深度學(xué)習(xí)不同類型的負載而打造的,不管是之前所說的物品檢測、物體識別,同時還有視頻處理、圖像識別、圖像處理,還有語音處理、自然語言的處理。整個深度學(xué)習(xí)的通用功能都是非常支持的,這都是它所適用的領(lǐng)域。
除此之外還有訓(xùn)練和推理,以及在數(shù)據(jù)中心當(dāng)中的使用,也是Crest系列家族產(chǎn)品所支持的。同時,具體的應(yīng)用領(lǐng)域還是很廣泛的,不管是像現(xiàn)在的基因測序、金融領(lǐng)域以及自動駕駛領(lǐng)域,Crest系列的產(chǎn)品都可以使用;同時它的訓(xùn)練模型取決于具體的環(huán)境,我們也可以把它用在推理過程中,包括數(shù)據(jù)中心,如果你要做推理,我們的Crest家族系列產(chǎn)品也是可以支持的。
問:如果現(xiàn)在你自己有一個訓(xùn)練神經(jīng)網(wǎng)絡(luò)的需求,你會怎么為自己選擇一款芯片呢?
Andres Rodriguez:其實不管像我自己還是現(xiàn)在很多市面上的客戶,可能都是跟我處在一樣的情況中,就是有大量可用的至強處理器去考慮。在這種情況下,我可能不需要特意買其他的專門為深度學(xué)習(xí)打造的硬件,因為在至強處理器上可以完成所有的工作。
對比六個月之前,我們的性能已經(jīng)提高了一百多倍,所以我們沒有必要考慮其他的解決方案。另外在整個訓(xùn)練的過程當(dāng)中,我的工作負載所需要的時間可以大幅度的縮短,在處理深度學(xué)習(xí)訓(xùn)練過程中,所有的工作負載是被分布到不同的核上同時完成的,這個可以大量的降低時間。
問:你剛才提到Lake Crest是在今年年底發(fā)布,中國市場和美國市場同步嗎,都是在同一時間拿到產(chǎn)品?
Andres Rodriguez:作為Lake Crest具體的硅片的話,今年年底我們會公布具體的細節(jié)。但實際的投產(chǎn)包括大規(guī)模的量產(chǎn)還是要等到2018年上半年。作為整個Lake Crest,會集成在Nervana Cloud當(dāng)中,客戶在Nervana Cloud對它進行測試。我們一些非常緊密的合作伙伴,不管是美國還是中國的,都可以直接在Lake Crest進行測試。
當(dāng)然,我們具體的測試也是分成兩個不同類型的合作伙伴群體。對于有大量需求的客戶,我們是只對一些合作非常緊密的合作伙伴開放,他們可能考慮會在未來把我們的Crest部署在他們的數(shù)據(jù)中心。如果作為一個通用的測試,那么開放范圍會更加廣一點。
問:未來AIPG在AI芯片技術(shù)方面的計劃是什么樣的,或者有沒有一個產(chǎn)品路線圖?
Andres Rodriguez:答案是肯定的,路線圖我們有一個既定的規(guī)劃,除了傳統(tǒng)的計算以及訓(xùn)練和推理之外,我們還會建立起更加完善的深度學(xué)習(xí)生態(tài)系統(tǒng)的規(guī)劃。 但是我們關(guān)注的并不僅僅是訓(xùn)練以及推理本身,我們還有其他很多的詳細產(chǎn)品的規(guī)劃,但具體的內(nèi)容包括細節(jié)我們只會跟我們簽署了保密協(xié)議的客戶去分享。
關(guān)于AIPG目前的情況:團隊相比之前的Nervana有了很大擴張
問:關(guān)于你個人的工作狀態(tài),因為現(xiàn)在Nervana剛被英特爾收購,現(xiàn)在你在英特爾或者在AIPG工作的狀態(tài)跟原來在Nervana的時候有什么不同嗎?
Andres Rodriguez:可以說目前為止英特爾人工智能產(chǎn)品事業(yè)部的整個領(lǐng)導(dǎo)層跟我們之前Nervana 系統(tǒng)沒有什么太大的變化。 我們現(xiàn)在的GM也是整個英特爾的VP,是我們之前Nervana System的前CEO,也是之前Nervana的聯(lián)合創(chuàng)始人。
Nervana現(xiàn)在已經(jīng)被英特爾收購并且加入到了AIPG事業(yè)部,我們依舊秉承了之前作為一個初創(chuàng)企業(yè)的勇往直前的精神。 我們的工作模式其實并沒有發(fā)生特別大的變化。我們還是希望快速的完成產(chǎn)品研發(fā),并且非常專注于我們所擅長的領(lǐng)域。
其中一個最大的區(qū)別,就是我們的規(guī)模明顯比之前Nervana要大得多,但是很多的傳統(tǒng)還有一些價值理念都被很好的傳承了下來。還有另外一個重要的不同之處,畢竟整個人工智能產(chǎn)品事業(yè)部是有英特爾大品牌作為一個重要的背景支撐,而客戶對我們后續(xù)的產(chǎn)品將會有更高的期待。 不管從性能還是安全的角度來講都是如此,這對我們來講也是一個巨大的壓力,也就是說加入英特爾之后,必須要有一個更高的標準來開發(fā)我們的技術(shù)和產(chǎn)品。
除此之外,我們要開發(fā)出更好的產(chǎn)品,產(chǎn)品的質(zhì)量、標準和要求都會更高,這對我們來講也是額外挑戰(zhàn)的,為了滿足高標準高要求, 我們要添加一些額外的驗證或者工作,這可能或多或少的會影響我們產(chǎn)品開發(fā)的速度,這也是我們必須要做出是一個妥協(xié)。
問:剛才說團隊有一個很大的擴張,因為在Nervana被收購之前,我記得有48個人,現(xiàn)在你們團隊有多少個人?
Andres Rodriguez:我們的規(guī)??隙ㄒ戎按蟮枚嗔?,但是具體的員工數(shù)量暫時不方便透露。 我覺得加入英特爾對我們來講一個非常巨大的優(yōu)勢就是盡管之前Nervana也是人才濟濟,但畢竟人數(shù)比較少;而現(xiàn)在在整個英特爾平臺之下,硬軟件包括數(shù)字科學(xué)家們,我們能接觸到的專家越來越多,這將是一個最大的優(yōu)勢。
同時,我們的全球市場也更大,視角更開闊。 因為在整個AIPG我們不僅僅關(guān)注Lake Crest加速器、Nervana系統(tǒng),我們還有一個更大的市場。
舉個例子,我們與谷歌TensorFlow的優(yōu)化就是在整個AIPG事業(yè)部帶領(lǐng)下實現(xiàn)的,所以說AIPG有一個更大的市場。
對中國AI芯片公司的看法
問:請問你如何看待中國本土的AI芯片?
Andres Rodriguez:我覺得在現(xiàn)在整個市場百花齊放,讓每個企業(yè)都有自己的選擇空間,這是一個非常利好的事情。因為在整個生態(tài)系統(tǒng)之內(nèi),各相關(guān)方都可以互相學(xué)習(xí),并且能夠推動整個深度學(xué)習(xí)領(lǐng)域的快速發(fā)展,所以說我們也是非常高興和歡迎這一個市場的發(fā)展與進步。我們也是希望能夠有機會與中國企業(yè)包括與更多的客戶去充分合作,能夠共同的開發(fā)針對深度學(xué)習(xí)領(lǐng)域的軟件、硬件以及其他產(chǎn)品。