雷鋒網(wǎng)按：前不久谷歌發(fā)布了關(guān)于TPU細(xì)節(jié)的論文，稱“TPU 處理速度比當(dāng)前 GPU 和 CPU 要快 15 到 30 倍”。當(dāng)時(shí)就有人對(duì)此種“比較”表示質(zhì)疑，因其拿來(lái)的比較對(duì)象并非市場(chǎng)里性能最好的。

而昨晚（美國(guó)時(shí)間 4 月 10 日）英偉達(dá) CEO 黃仁勛就親自撰文回應(yīng)了這一“比較”，文章第一段就以谷歌 TPU 開頭，炮擊意圖十分明顯，隨后更是扔出了 Tesla P40 GPU 與 TPU 的性能對(duì)比圖，可謂針尖對(duì)麥芒。

不過(guò) P40 和 TPU 的售價(jià)差距很大（P40 24GB版本售價(jià)5千多美元，TPU 成本估計(jì)在幾百美元），尺寸和制程也不一樣，也有人覺得這樣的對(duì)比未免也是不恰當(dāng)?shù)?。但黃仁勛不惜親自撰寫長(zhǎng)文，擺事實(shí)擺數(shù)據(jù)，意在表明英偉達(dá)在 AI 芯片領(lǐng)域的強(qiáng)勢(shì)姿態(tài)和技術(shù)領(lǐng)先的驕傲。

當(dāng)時(shí)TPU論文甫一發(fā)布，雷鋒網(wǎng)就論文中的比較對(duì)象問(wèn)題咨詢了AI人士意見，感興趣的讀者可戳《谷歌公布TPU細(xì)節(jié)之后，AI業(yè)界怎么看？》。以下為黃仁勛發(fā)表全文，原文標(biāo)題為“AI 驅(qū)動(dòng)數(shù)據(jù)中心加速計(jì)算的崛起”（AI Drives the Rise of Accelerated Computing in Data Centers），由雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))編譯。

谷歌最近的TPU論文給出了一個(gè)十分明確的結(jié)論：如果沒有高速計(jì)算能力，大規(guī)模AI實(shí)現(xiàn)根本不可能。

如今的世界經(jīng)濟(jì)運(yùn)行在全球的數(shù)據(jù)中心之上，而數(shù)據(jù)中心也在急劇發(fā)生改變。不久之前，數(shù)據(jù)中心服務(wù)支撐網(wǎng)頁(yè)、廣告和視頻?，F(xiàn)在，它們能夠從視頻流里識(shí)別聲音、檢測(cè)圖片，還能隨時(shí)讓我們獲得想要的信息。

以上提到的各種能力，都在愈來(lái)愈依靠深度學(xué)習(xí)來(lái)支撐。深度學(xué)習(xí)是一種算法，從海量數(shù)據(jù)里學(xué)習(xí)形成軟件，來(lái)處理諸多高難度挑戰(zhàn)，包括翻譯、癌癥診斷、自動(dòng)駕駛等等。這場(chǎng)由AI引發(fā)的變革，正在以一種前所未有的速度影響著各種行業(yè)。

深度學(xué)習(xí)的開拓者Geoffrey Hinton最近在接受《紐約客》采訪時(shí)說(shuō)道：“凡是任何一個(gè)有很多數(shù)據(jù)的分類問(wèn)題，都可以用深度學(xué)習(xí)的方法來(lái)解決。深度學(xué)習(xí)有幾千種應(yīng)用。”

不可思議的效果

以谷歌為例。谷歌在深度學(xué)習(xí)里突破性的工作引發(fā)了全球關(guān)注：Google Now 語(yǔ)音交互系統(tǒng)令人吃驚的精確性、AlphaGo在圍棋領(lǐng)域歷史性的勝利、谷歌翻譯應(yīng)用于100種語(yǔ)言。

深度學(xué)習(xí)已經(jīng)達(dá)到了不可思議的效果。但是深度學(xué)習(xí)的方法，要求計(jì)算機(jī)在摩爾定律放緩的時(shí)代背景下，精確處理海量數(shù)據(jù)。深度學(xué)習(xí)是一種全新的計(jì)算模型，它也需要一種全新計(jì)算架構(gòu)的誕生。

一段時(shí)間以來(lái)，這種 AI 計(jì)算模型都是運(yùn)行于英偉達(dá)芯片之上。2010 年，研究員 Dan Ciresan 當(dāng)時(shí)在瑞士 Juergen Schmidhuber 教授的 AI 實(shí)驗(yàn)室工作，他發(fā)現(xiàn)英偉達(dá) GPU 芯片可以被用來(lái)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，比 CPU 的速度快 50 倍。一年之后，Schmidhuber 教授的實(shí)驗(yàn)室又使用 GPU 開發(fā)了世界上首個(gè)純深度神經(jīng)網(wǎng)絡(luò)，一舉贏得國(guó)際手寫識(shí)別和計(jì)算機(jī)視覺比賽的冠軍。接著，在 2012 年，多倫多大學(xué)的碩士生 Alex Krizhevsky 使用了兩個(gè) GPU，贏得了如今蜚聲國(guó)際的 ImageNet 圖像識(shí)別競(jìng)賽。（Schmidhuber教授曾經(jīng)寫過(guò)一篇文章，全面梳理了運(yùn)行于GPU之上的深度學(xué)習(xí)對(duì)于當(dāng)代計(jì)算機(jī)視覺的影響 http://people.idsia.ch/~juergen/computer-vision-contests-won-by-gpu-cnns.html）

深度學(xué)習(xí)優(yōu)化

全球的 AI 研究員都發(fā)現(xiàn)了，英偉達(dá)為計(jì)算機(jī)圖形和超級(jí)計(jì)算應(yīng)用所設(shè)計(jì)的 GPU 加速計(jì)算模型，是深度學(xué)習(xí)的理想之選。深度學(xué)習(xí)應(yīng)用，比如 3D 圖形，醫(yī)療成像、分子動(dòng)力學(xué)、量子化學(xué)和氣象模擬等，都是一種線性代數(shù)算法，需要進(jìn)行大規(guī)模并行張量或多維向量計(jì)算。誕生于 2009 年的英偉達(dá) Kepler GPU 架構(gòu)，雖然幫助喚醒了世界在深度學(xué)習(xí)中使用 GPU 加速計(jì)算，但其誕生之初并非為深度學(xué)習(xí)量身定制的。

所以，我們必須開發(fā)出新一代GPU架構(gòu)，首先是 Maxwell，接著是 Pascal，這兩種架構(gòu)都對(duì)深度學(xué)習(xí)進(jìn)行了特定的優(yōu)化。在Kepler Tesla K80 之后四年，基于 Pascal 架構(gòu)的 Tesla P40 推理加速器誕生了，它的推理性能是前者的 26 倍，遠(yuǎn)遠(yuǎn)超過(guò)了摩爾定律的預(yù)期。

在這一時(shí)期，谷歌也設(shè)計(jì)了一款定制化的加速器芯片，名為“張量處理單元”，即 TPU。具體針對(duì)數(shù)據(jù)推理，于 2015 年部署。

上周，谷歌團(tuán)隊(duì)發(fā)布了關(guān)于 TPU 優(yōu)越性的一些信息，稱 TPU 比 K80 的推理性能高出 13 倍。但是，谷歌并沒有拿 TPU 與如今最新一代的 Pascal P40 做比較。

最新對(duì)比

我們創(chuàng)建了如下的圖表，對(duì) K80、TPU 和 P40 的性能進(jìn)行量化，看看 TPU 與如今的英偉達(dá)技術(shù)之間的較量。

P40 在計(jì)算精度和吞吐量、片內(nèi)存儲(chǔ)和存儲(chǔ)帶寬之間達(dá)到了良好平衡，不僅在訓(xùn)練階段，也在推理階段達(dá)到了前所未有的性能表現(xiàn)。對(duì)于訓(xùn)練階段，P40 擁有 10 倍于 TPU 的帶寬，32 位浮點(diǎn)性能達(dá)到 12個(gè) TFLOPS 。對(duì)于推理階段，P40 具有高吞吐的 8 位整數(shù)和高存儲(chǔ)帶寬。

數(shù)據(jù)基于谷歌 Jouppi 等人論文“In-Datacenter Performance Analysis of a Tensor Processing Unit”[Jou17]，以及英偉達(dá)內(nèi)部基準(zhǔn)分析。K80 與 TPU 的性能比數(shù)據(jù)來(lái)源于論文[Jou17]里 CNN0 和 CNN1的加速性能比，其中比較的是性能減半的 K80。K80 與 P40 性能比基于 GoogLeNet 模型，這是一種可以公開使用的CNN 模型，具有相似的性能屬性。

雖然谷歌和英偉達(dá)選擇了不同的發(fā)展路徑，我們有一些共同關(guān)切的主題。具體包括：

AI 需要加速計(jì)算。在摩爾定律變慢的時(shí)代背景下，加速器滿足了深度學(xué)習(xí)海量數(shù)據(jù)處理需求

張量處理處于深度學(xué)習(xí)訓(xùn)練和推理性能的核心位置

張量處理是一個(gè)重要的新工作負(fù)載，企業(yè)在建立現(xiàn)代數(shù)據(jù)中心的時(shí)候，要考慮這一問(wèn)題

加速?gòu)埩刻幚砜梢燥@著減少現(xiàn)代數(shù)據(jù)中心的建設(shè)成本

全球科技正處于一場(chǎng)被稱為“AI 革命”的歷史性轉(zhuǎn)變中。如今這場(chǎng)革命影響最深刻的地方，就是阿里巴巴、亞馬遜、百度、Facebook、谷歌、IBM、微軟、騰訊等公司所擁有的的超大規(guī)模數(shù)據(jù)中心。這些數(shù)據(jù)中心，需要加速 AI 工作負(fù)載，不必花費(fèi)數(shù)十億美元用新的CPU節(jié)點(diǎn)來(lái)打造新的數(shù)據(jù)中心。如果沒有加速計(jì)算，大規(guī)模 AI 實(shí)現(xiàn)根本不可能。

GPU加速計(jì)算為深度學(xué)習(xí)和現(xiàn)代AI 供能。大家可以在 5 月 8-11 日到加州圣何塞參加我們的 GPU Technology 大會(huì)。你將會(huì)聽到 AI 開拓者們談?wù)撍麄兺黄菩缘陌l(fā)現(xiàn)，并且獲悉 GPU 計(jì)算的最新進(jìn)展是如何在變革一個(gè)又一個(gè)行業(yè)。