這篇文章原刊登于《量子雜志》(Quanta Magazine),分析了機器學(xué)習(xí)在大數(shù)據(jù)中的一些數(shù)學(xué)原理和問題,作者Ingrid Daubechies是杜克大學(xué)數(shù)學(xué)、電子和計算機工程系的教授?!读孔与s志》是由西蒙斯基金會獨立編輯出版的一本雜志,旨在向公眾介紹數(shù)學(xué)、物理和生命科學(xué)方面的最新進(jìn)展。
幾年前的一次晚餐上,杰出的微分幾何學(xué)家 Eugenio Calabi 主動半開玩笑地和我聊起了純粹數(shù)學(xué)家和應(yīng)用數(shù)學(xué)家的區(qū)別。研究遇到難題時,純粹數(shù)學(xué)家經(jīng)常進(jìn)一步窄化難題,避免障礙;但應(yīng)用數(shù)學(xué)家會把卡殼視為信號——是時候?qū)W習(xí)更多數(shù)學(xué)知識,找出更好的解決辦法了。
我一直覺得這個觀點很贊;它解釋了為什么應(yīng)用數(shù)學(xué)家總是需要更為基礎(chǔ)的數(shù)學(xué)領(lǐng)域研究出來的新概念和新結(jié)構(gòu)。這在今天人們努力理解「大數(shù)據(jù)」(非常龐大和復(fù)雜,難以用傳統(tǒng)數(shù)據(jù)處理技術(shù)進(jìn)行理解的數(shù)據(jù)組)的過程中,顯得尤為明顯。
目前,從最理想的角度來說,我們對大數(shù)據(jù)變革中的中心技術(shù)的數(shù)學(xué)理解還不夠。舉個最簡單的例子——監(jiān)督式學(xué)習(xí)。巨頭們已經(jīng)將這項技術(shù)用于語音和圖像識別,準(zhǔn)確性趨近人類水平。起初,系統(tǒng)需要海量訓(xùn)練樣本(數(shù)百萬甚至數(shù)十億的圖片或者語音錄音)用來訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò),識別統(tǒng)計上的規(guī)律性。和機器學(xué)習(xí)其他領(lǐng)域一樣,計算機有望通過吸收足夠多數(shù)據(jù)來「學(xué)習(xí)」需要完成的任務(wù)。我們無需對決策所需細(xì)節(jié)步驟進(jìn)行編程,計算機就能跟隨算法的腳步,算法會逐漸引導(dǎo)它們關(guān)注相關(guān)模式。
用數(shù)學(xué)術(shù)語說,這些監(jiān)督學(xué)習(xí)系統(tǒng)被給予了大量彼此對應(yīng)的輸入與輸出數(shù)據(jù);計算機的目標(biāo)就是學(xué)習(xí)能可靠地將新輸入轉(zhuǎn)化為正確輸出的函數(shù)。為此,計算機必須將這個神秘函數(shù)分解為許多層叫做sigmoid函數(shù)的未知函數(shù)。這些S形函數(shù)就像是馬路牙子的輪廓線:它將一個層級光滑過渡到另一個層級,但是起始于哪一層、層間距離、轉(zhuǎn)換區(qū)域的寬度都無法提前預(yù)知。
輸入數(shù)據(jù)進(jìn)入sigmoid函數(shù)的第一層后,會生成一些結(jié)果,這些結(jié)果在進(jìn)入第二層sigmoid函數(shù)前可以組合起來,以此類推。這張正在生成函數(shù)的網(wǎng)就是神經(jīng)網(wǎng)絡(luò)里的「網(wǎng)絡(luò)」?!干疃取咕W(wǎng)絡(luò)就是有許多層這樣的網(wǎng)。
幾十年前,研究人員證明,這些網(wǎng)絡(luò)具有普適性,也就是說它們能夠生成所有可能的函數(shù)。后來,其他研究人員證明,網(wǎng)絡(luò)與它所產(chǎn)生的函數(shù)之間存在一些獨特的對應(yīng)關(guān)系,取得了一些理論成果。但是,這些成果都事先假設(shè)層級數(shù)量以及每層中的函數(shù)節(jié)點數(shù)量都極其龐大。但是,實踐中,神經(jīng)網(wǎng)絡(luò)都是2層到20多層之間。由于這一局限性,沒有一個經(jīng)典結(jié)論能夠解釋為什么神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)能夠做得這么好,這么引人注目。
許多應(yīng)用數(shù)學(xué)家的指導(dǎo)原則是:如果某些數(shù)學(xué)方法運行良好,那么,肯定可以用數(shù)學(xué)來解釋它,我們也應(yīng)該能夠理解其中原因??墒?,在這個特殊例子中,我們甚至沒有合適的數(shù)學(xué)框架可供理解。(或者,如果有,也還在純粹數(shù)學(xué)領(lǐng)域,尚未傳播到其他數(shù)學(xué)領(lǐng)域。)
機器學(xué)習(xí)使用的另一個技術(shù)是無監(jiān)督學(xué)習(xí),它用來找出大數(shù)據(jù)組背后的隱秘關(guān)聯(lián)。比如,你是位研究人員,想要更多了解人類個性類型。你獲得了大筆資金支持,可以找20萬人做調(diào)查,每張人格調(diào)查問卷有500個問題,每道題的備選答案有10個。最終,你的數(shù)據(jù)規(guī)模是:500個虛擬「維度」,每個維度上有20萬個數(shù)據(jù)點——每個維度代表原始問卷表里的一道人格測試題。這些點組合起來,在500維空間中構(gòu)成了一個維度較低的「曲面」,就好比簡單記錄山脈區(qū)域某些點的海拔高度,就能用這些點在三維空間內(nèi)構(gòu)建出一個二維曲面一樣。
作為研究人員,你要做的就是識別出這個維度較低的曲面,從而減少20萬個被試者的人格畫像,只留下本質(zhì)特征——就像找出足以確定山脈表面任意一點的兩個變量。或許,個性測試的這個曲面也能用簡單的函數(shù)來表示,它所涉及的變量數(shù)大大小于500個。這種函數(shù)就有可能反映出數(shù)據(jù)背后的結(jié)構(gòu)。
大約在過去15年里,研究人員已經(jīng)發(fā)明了用來探索這些隱藏結(jié)構(gòu)的幾何模式的工具。比如,要建一個關(guān)于曲面的模型,首先需要拉近鏡頭,近距離觀察許多不同的點。你可以在每一點上滴上虛擬的墨水,觀察它們?nèi)绾螖U散。墨水會根據(jù)曲面在每個點的彎曲程度,向某些方向擴散,而不向其他方向擴散。如果把所有這些墨水點連接起來,你就會對曲面有個整體了解。此時,你手中握有的就不再是數(shù)據(jù)點的集合,而是曲面上的各種聯(lián)系、有趣的循環(huán)、折疊以及彎曲。這將為你繪制出一幅探索這個曲面的地圖。
這些方法已經(jīng)產(chǎn)生了一些有趣有用的結(jié)果,不過,我們還需要更多技術(shù)。應(yīng)用數(shù)學(xué)家還有很多功課要做。面對挑戰(zhàn),他們相信,許多「更加純粹」的同事(指純粹數(shù)學(xué)家——譯者注)會保持開放的頭腦,追隨最新動態(tài),幫助他們發(fā)現(xiàn)與其他已有數(shù)學(xué)分析框架之間的聯(lián)系,甚至建造出新的數(shù)學(xué)框架。