5月10號(hào)的一場(chǎng)發(fā)布會(huì)，讓英偉達(dá)的股票瘋漲了18個(gè)點(diǎn)。在公布和豐田合作方案、GPU云平臺(tái)、機(jī)器人AI虛擬訓(xùn)練系統(tǒng)Isaac等等表因背后，更深層的還應(yīng)該是英偉達(dá)新一代Volta架構(gòu)在硬件上取得的突破。

Volta架構(gòu)擁有全新的張量運(yùn)算指令Tensor Core，能夠?qū)⑸疃葘W(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度提高12倍，同時(shí)也將提高深度學(xué)習(xí)的推理速度。

可能很多人對(duì)于這條新聞的理解就停留于股票瘋漲，下面就分別來談?wù)勆疃葘W(xué)習(xí)神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)訓(xùn)練和深度學(xué)習(xí)推理這三個(gè)看似復(fù)雜，實(shí)則簡(jiǎn)單的名詞。

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)四個(gè)字之所以讓人覺得高深，或許是因?yàn)樗犉饋砗芟袷怯脵C(jī)器模仿生物。實(shí)際上，神經(jīng)網(wǎng)絡(luò)并非是在物理上用某種材料模仿人的神經(jīng)，而是從抽象層面去模仿人的思維方式。

人類的思維方式有兩種，一種是邏輯思維——簡(jiǎn)單來說是通過一步步的推論得出對(duì)事物的結(jié)論。另一種則是形象思維——對(duì)事物的客觀形象進(jìn)行感知并儲(chǔ)存，通過事物的特征去把握規(guī)律，最終通過聯(lián)想、想象的方式進(jìn)行表達(dá)。

從生物學(xué)上來講，人體的大量神經(jīng)元、細(xì)胞、觸點(diǎn)等等連接構(gòu)成神經(jīng)網(wǎng)絡(luò)，對(duì)信息進(jìn)行感知、分析和判斷。注意，當(dāng)我們用這種思維方式處理信息時(shí)，主要依靠的是神經(jīng)元之間的互相作用。

而我們所提到深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，就是在模仿人體神經(jīng)元之間的互相作用。

深度學(xué)習(xí)訓(xùn)練

當(dāng)我們?cè)谫?gòu)買了一個(gè)自認(rèn)為美味的蘋果時(shí)，或許取決于它的飽滿程度、它的顏色和氣味。我們所認(rèn)識(shí)到蘋果的種種特征與蘋果是否美味之間的關(guān)系，就是神經(jīng)元之間的相互作用的結(jié)果。

當(dāng)我們用機(jī)器模仿人腦運(yùn)作時(shí)，我們希望看到的是機(jī)器擁有輸入（蘋果的特征）和輸出（蘋果是否好吃）兩個(gè)元素時(shí)，自己就能夠總結(jié)出規(guī)則（什么樣子的蘋果好吃或難吃）。

本質(zhì)上來說，這是一個(gè)學(xué)習(xí)的過程，所以神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)常常相伴出現(xiàn)。

如果我們希望機(jī)器能夠分辨蘋果的味道，我們應(yīng)該做什么？顯然是讓它像品鑒師一樣，“品嘗”大量不同的蘋果。這一過程，就是深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的“訓(xùn)練”。

我們“輸入”給機(jī)器一個(gè)蘋果，詢問它這個(gè)蘋果是否好吃，機(jī)器看到的不僅僅是一個(gè)蘋果，而是蘋果的顏色、大小甚至于表皮上有多少斑點(diǎn)這一類人腦無法識(shí)別的特征。當(dāng)它錯(cuò)誤的輸出好吃或不好吃的結(jié)論時(shí)，它會(huì)根據(jù)蘋果的種種特征向上回溯，思考自己究竟是在顏色、大小還是哪一種特征中出了錯(cuò)誤。當(dāng)我們給它足夠多的蘋果時(shí)，它就會(huì)領(lǐng)悟到好吃的蘋果應(yīng)該是什么樣。

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練就像是在走迷宮，“輸入”的蘋果是迷宮的入口，而其中蘋果的千百種顏色、千百種形狀是迷宮中復(fù)雜的岔路，而出口只有一個(gè)，那就是好吃。機(jī)器發(fā)現(xiàn)在青色蘋果這一條岔路中碰了壁，就會(huì)回到岔路口，嘗試紅色、黃色等等路口能不能走出去。當(dāng)機(jī)器走遍所有岔路，走出迷宮時(shí)，它自然學(xué)會(huì)了那種蘋果是好吃的。

深度學(xué)習(xí)推理

在訓(xùn)練過程中，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)已經(jīng)做的很偉大了——它沒有味蕾卻能判斷蘋果的味道。目前不斷發(fā)展的硬件技術(shù)，也可以讓這一計(jì)算過程所需時(shí)間逐步減少。

可問題在于，即使深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)“可以”找到迷宮正確的出口，可他每一次尋找同一個(gè)迷宮出口的方式都是將整個(gè)迷宮行走一遍。那所謂“訓(xùn)練”二字的意義就不復(fù)存在。

這也是為什么，神經(jīng)網(wǎng)絡(luò)需要推理。

當(dāng)機(jī)器領(lǐng)悟到：紅色、有香氣的蘋果=好吃，給它一個(gè)綠色的蘋果，它將不再去“聞”綠蘋果是否有香氣，而是直接給出不好吃這個(gè)答案。說白了，訓(xùn)練是機(jī)器在迷宮中找到正確路線，而推理則是把迷宮中所有錯(cuò)誤的岔路都堵住。

這時(shí)我們?cè)倩仡^看英偉達(dá)Tensor Core提到的訓(xùn)練速度提高和推理速度提高就能明白，Tensor Core讓機(jī)器提高了“找到”迷宮出口的速度——這一部分主要應(yīng)用的是并行計(jì)算，讓機(jī)器擁有“分身”，可以同時(shí)出現(xiàn)在數(shù)個(gè)岔路口判斷此路通否，也讓機(jī)器提高了在迷宮正確路線上行走的速度——也是對(duì)GPU性能最大的考驗(yàn)。

在英偉達(dá)專注的自動(dòng)駕駛領(lǐng)域，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)是被應(yīng)用極多的技術(shù)之一，駕駛系統(tǒng)要不斷的被輸入行駛時(shí)的多種情況——從天氣到路況再到周邊車輛，再輸出自身的反應(yīng)——是否加速、是否停車等等。

相比判斷蘋果的美味與否，我們可以這樣形容雙方計(jì)算量的差異，判斷蘋果的美味與否是讓機(jī)器在二維平面中走出迷宮，而深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)于自動(dòng)駕駛的應(yīng)用，恐怕是讓機(jī)器走出一個(gè)五維立體的舉行迷宮，其中也許還分布著幾個(gè)蟲洞。

對(duì)于英偉達(dá)這樣的硬件廠商而言，能做到的就是不斷增強(qiáng)硬件的計(jì)算能力，提高機(jī)器在迷宮中的移動(dòng)速度。幫助我們更快的找到新世界的出路，大概這也是一切技術(shù)的價(jià)值所在吧。