所以我投身到數(shù)學(xué)和計(jì)算機(jī)領(lǐng)域。1987年，我發(fā)表了一篇雄心勃勃的畢業(yè)論文，描述了第一個(gè)關(guān)于元學(xué)習(xí)(meta-learning)程序的具體研究。它不僅可以通過學(xué)習(xí)解決一些問題，而且還能通過學(xué)習(xí)改進(jìn)自己的學(xué)習(xí)算法。這種程序僅僅受限于它的計(jì)算性能，它可以通過逐漸的自我完善來實(shí)現(xiàn)超級(jí)智能。

我現(xiàn)在仍在為此努力，但現(xiàn)在有更多的人對(duì)此感興趣了。為什么呢?因?yàn)楝F(xiàn)在，我們?cè)趯?shí)現(xiàn)這一目標(biāo)的過程中所創(chuàng)造的方法，已經(jīng)滲透到現(xiàn)代世界的各個(gè)方面。全球幾乎一半的人類都在使用它們，且使用總次數(shù)每天高達(dá)數(shù)十億次。。

到2017年8月，目前世界上存在的最有價(jià)值的五家上市公司分別是蘋果(Apple)，谷歌(Google)，微軟(Microsoft)，臉書(Facebook)和亞馬遜(Amazon)。自20世紀(jì)90年代初期以來，所有人都大量使用著我在德國和瑞士實(shí)驗(yàn)室開發(fā)的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，特別是長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory network，LSTM)。這些算法是由我與我的同事Sepp Hochreiter、Felix Gers、Alex Graves和其他由歐洲納稅人資助的優(yōu)秀學(xué)生和博士后發(fā)表在幾篇論文中的內(nèi)容。最初，這種LSTM是很笨拙的，它什么都不知道。但它可以通過經(jīng)驗(yàn)進(jìn)行自我學(xué)習(xí)。這種機(jī)制有點(diǎn)受人類大腦皮層的啟發(fā)，在人類大腦皮層中，有超過150億個(gè)神經(jīng)元，且每個(gè)神經(jīng)元都平均與其他10,000個(gè)神經(jīng)元相連。輸入型神經(jīng)元向其余神經(jīng)元提供數(shù)據(jù)(聽覺，視覺，痛覺);輸出型神經(jīng)元觸發(fā)肌肉活動(dòng);思維神經(jīng)元隱藏在兩者之間。這些都是通過改變連接強(qiáng)度來影響神經(jīng)元相互影響的強(qiáng)度。

我們的LSTM是一種人工遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)，它在許多應(yīng)用中都有優(yōu)于以前的方法。LSTM可以通過學(xué)習(xí)來控制機(jī)器人、分析圖像、匯總文檔、識(shí)別視頻和字體、操作聊天機(jī)器人、預(yù)測(cè)疾病、點(diǎn)擊率和股票市場(chǎng)、編曲等等。LSTM已經(jīng)成為現(xiàn)在所謂的深度學(xué)習(xí)的基礎(chǔ)，特別是對(duì)于連續(xù)的數(shù)據(jù)來說應(yīng)用廣泛(注意大多數(shù)真實(shí)世界的數(shù)據(jù)都是連續(xù)的)。

2015年，LSTM大大提升了谷歌Google的語音識(shí)別能力，目前已應(yīng)用于超過20億部的安卓手機(jī)。LSTM也是自2016年以后谷歌擁有更新、更好翻譯服務(wù)的核心。LSTM同樣被應(yīng)用于蘋果公司近10億部蘋果手機(jī)的快速輸入(QuickType)和蘋果智能語音助手(Siri)中。LSTM還負(fù)責(zé)著亞馬遜語音助手(Alexa)的語音回復(fù)功能。

截至2016年，在所有的谷歌數(shù)據(jù)中心中，近30%用于推理的強(qiáng)大的計(jì)算機(jī)采用了LSTM。截至2017年，臉書每天使用LSTM進(jìn)行高達(dá)45億次的翻譯(每秒超過50,000次)。與此同時(shí)，我們的其他深度學(xué)習(xí)算法現(xiàn)在也可供數(shù)十億的用戶使用。也就是說，您可能一直在使用LSTM。

與傳統(tǒng)的深度學(xué)習(xí)如多層前饋神經(jīng)網(wǎng)絡(luò)(feed-forward neural networks， FNNs)相比，我們將基于人工遞歸神經(jīng)網(wǎng)絡(luò)的方法稱為“一般深度學(xué)習(xí)”。多層前饋神經(jīng)網(wǎng)絡(luò)是一種傳統(tǒng)深度學(xué)習(xí)的方法，由Ivakhnenko和Lapa(1965)于半個(gè)多世紀(jì)前在烏克蘭(當(dāng)時(shí)還是蘇聯(lián)的一部分)開發(fā)。與多層前饋神經(jīng)網(wǎng)絡(luò)不同，像LSTM這樣的人工遞歸神經(jīng)網(wǎng)絡(luò)具有通用的并行順序計(jì)算架構(gòu)。人工遞歸神經(jīng)網(wǎng)絡(luò)與受到更多限制的多層前饋神經(jīng)網(wǎng)絡(luò)之間的差別，類似于計(jì)算機(jī)與計(jì)算器之間的差別。

到20世紀(jì)90年代初，我們的深度人工遞歸神經(jīng)網(wǎng)絡(luò)(是無監(jiān)督式算法)可以通過學(xué)習(xí)來解決許多以前無法解決的任務(wù)。但這只是一個(gè)開始。每過五年，計(jì)算機(jī)的速度大約提高10倍/美元。這種趨勢(shì)比摩爾定律更早;自從Konrad Zuse在1935年至1941年期間建造了第一臺(tái)可操作的程控計(jì)算機(jī)以來(該計(jì)算機(jī)每秒可執(zhí)行大約一次基本操作)，該趨勢(shì)始終未變。在75年后的今天，計(jì)算機(jī)性能提升了大約一百萬億倍，LSTM也從這種加速中獲益匪淺。

今天最大的LSTM有十億個(gè)連接左右。以這一趨勢(shì)推斷，在25年內(nèi)我們可能以較低成本，制造出人體大腦皮質(zhì)規(guī)模的LSTM，其電子連接超過100,000億，并且比生物連接的傳輸速度快得多。在幾十年后，我們或許能夠以低廉的成本，制造出具有整個(gè)星球100億人類大腦總和計(jì)算能力的計(jì)算機(jī)。就算是如此強(qiáng)大的計(jì)算機(jī)，其每秒可執(zhí)行有意義的基本操作次數(shù)仍然可能無法超過1030次。而Bremermann所給出的1千克計(jì)算基質(zhì)的物理極限(1982)比這個(gè)數(shù)值還大1020倍。因此，在下個(gè)世紀(jì)之前，以上這種趨勢(shì)都不會(huì)到達(dá)極限，但這個(gè)趨勢(shì)也很快了，畢竟一個(gè)世紀(jì)在人類一萬年的文明長河中只占1%。

然而，LSTM本身是一種有監(jiān)督式算法，因此對(duì)于真正的人工智能來說是不夠的，真正的人工智能是能在沒有老師的情況下，自發(fā)地通過學(xué)習(xí)去解決最初未知環(huán)境中的各種問題。這就是為什么三十年來我一直在發(fā)布更多的普適性人工智能。

自1990年以來，我的一個(gè)特別關(guān)注點(diǎn)就是那些無監(jiān)督式的人工智能，它們展現(xiàn)了我所謂的“人工好奇心”和創(chuàng)造力。它們可以自主提出目標(biāo)和實(shí)驗(yàn)，以弄清楚世界是如何運(yùn)作的，以及它可以在其中做些什么。此類人工智能可以使用LSTM作為一種子模塊，這種子模塊可以通過學(xué)習(xí)來預(yù)測(cè)行為后果。 它們不是盲目地模仿人類教師，而是有點(diǎn)類似于兒童，通過不斷創(chuàng)造和解決它們自己的并且以前無法解決的新問題，在這個(gè)過程中通過成為越來越多的問題的解決者來獲得回報(bào)(流行語：PowerPlay，2011)。以此，我們已經(jīng)創(chuàng)造了一個(gè)簡單的“人造科學(xué)家”。

我從這項(xiàng)工作中推斷，在不久的將來，我們將擁有一個(gè)這樣的人工智能：它將會(huì)逐漸通過學(xué)習(xí)變得像一個(gè)小動(dòng)物一樣聰明、好奇并充滿創(chuàng)造力地不斷學(xué)習(xí)如何快速地計(jì)劃、推理和分解各種各樣的問題，并將其分解為可解決的(或已經(jīng)解決的)子問題。在我們發(fā)明出了猴級(jí)(與猴子一樣聰明的)AI之后，可能還會(huì)發(fā)明出有著真正無限用途的人級(jí)AI。

并且一切還不會(huì)止步于此。許多有好奇心的并可以提出自己目標(biāo)的人工智能會(huì)迅速地提升自己，僅受可計(jì)算性和物理學(xué)的基本限制。它們會(huì)做什么?宇宙空間并不適合人類生存，但相當(dāng)適合設(shè)計(jì)得當(dāng)?shù)臋C(jī)器人，而且宇宙比我們生物圈薄膜提供更多的資源(生物圈薄膜僅接收不到十億分之一的太陽光)。雖然在一些人工智能至少在它們未能完全理解生命之前，對(duì)生命著迷，但大多數(shù)人工智能都會(huì)對(duì)太空中只有機(jī)器人和軟件生命的美好未來更感興趣。在小行星帶及更遠(yuǎn)的地方，通過無數(shù)個(gè)自我復(fù)制的機(jī)器人工廠，這些人工智能將改變太陽系，然后在幾十萬年之內(nèi)，遍布整個(gè)星系和數(shù)十億年之內(nèi)，而它們的擴(kuò)張速度或許只會(huì)受到光速的限制。(人工智能或其部分可能通過無線電從發(fā)射機(jī)傳送到接收機(jī)——盡管將發(fā)射接收機(jī)送至目的地需要相當(dāng)長的時(shí)間。)

這將與20世紀(jì)科幻小說中描述的場(chǎng)景截然不同，盡管科幻小說也以銀河帝國和聰明的人工智能為主角。但是大多數(shù)小說的情節(jié)都是以人為中心的，因而不切實(shí)際。例如，為了使短暫的人類壽命與廣闊的星系空間相適應(yīng)，科幻小說的作者發(fā)明了物理上不可能的技術(shù)，例如折越引擎(warp drives)。然而，人工智能擴(kuò)展在物理速度限制方面不會(huì)有任何問題。由于宇宙壽命將會(huì)是其目前年齡138億年的很多倍，因此人工智能可能將會(huì)有足夠的時(shí)間來實(shí)現(xiàn)這一切。

許多科幻小說都只會(huì)寫到一種人工智能統(tǒng)治一切。但更現(xiàn)實(shí)的情況是，各種各樣的人工智能試圖優(yōu)化各種部分沖突(且快速發(fā)展)的效用函數(shù)，其中許多是自動(dòng)生成的(我的實(shí)驗(yàn)室在剛剛結(jié)束的千年里已經(jīng)進(jìn)化出效用函數(shù))。在這之中，每個(gè)人工智能都在不斷努力生存下去，并適應(yīng)人工智能生態(tài)系統(tǒng)中快速變化的棲身之地，這些生態(tài)系統(tǒng)是由激烈的競(jìng)爭和協(xié)作驅(qū)動(dòng)的，而且超出了我們目前的想象。

一些人可能希望通過腦部掃描將“思維上傳”到虛擬現(xiàn)實(shí)或機(jī)器人中，成為這些生態(tài)系統(tǒng)中不朽的一部分，這是自20世紀(jì)60年代以來在小說中討論的物理上可行的想法。然而，為了在快速發(fā)展的人工智能生態(tài)中競(jìng)爭，上傳的人類思維最終將不得不變得面目全非，并在這個(gè)過程中逐漸成為一些不同于我們想象的東西。

因此，人類將不會(huì)在宇宙中智慧傳播方面發(fā)揮重要作用。但那沒關(guān)系。 不要認(rèn)為人類是創(chuàng)造之王。相反，將人類文明視為更宏偉的計(jì)劃的一部分，這只是宇宙走向更高復(fù)雜性的重要步驟(但不是最后一步)。現(xiàn)在它似乎已準(zhǔn)備好邁出下一步，這一步甚至可與35億年前生命的出現(xiàn)相媲美。

這不僅僅是另一場(chǎng)工業(yè)革命，這更是超越人類乃至生物學(xué)范疇的新事物。 能夠見證它的起源并為此做出貢獻(xiàn)是一種榮幸。