谷歌DeepMind團(tuán)隊在最新一期《Nature》上發(fā)表論文稱,他們研發(fā)的人工智能算法擊敗了歐洲圍棋冠軍Fan Hui,同時也擊敗了目前最好的圍棋程序中99.8%的對手。而幫助他們解決這個人工智能歷史難題的關(guān)鍵是使用了政策網(wǎng)絡(luò)(policy network)和價值網(wǎng)絡(luò)(value network)兩種深度神經(jīng)網(wǎng)絡(luò)。而就在前一天,F(xiàn)acebook也在arXiv.org上更新了一篇用卷積神經(jīng)網(wǎng)絡(luò)和蒙特卡洛樹搜索相結(jié)合來解決圍棋問題的新、論文。并且,公司人工智能實驗室負(fù)責(zé)人Yann LeCun在自己的FB主頁上針對谷歌和Facebook的研究發(fā)表了一段非常精彩的說明。
谷歌DeepMind團(tuán)隊發(fā)表Nature封面論文,贏得圍棋人工智能挑戰(zhàn)
在邁向搭建具有更類似人類直覺的人工智能道路上,谷歌取得了出乎意料的輝煌一步;他們研發(fā)出能夠在極其復(fù)雜的圍棋游戲中擊敗專家級人類選手的計算機(jī)。他們將論文發(fā)表在了《Nature》上。
谷歌團(tuán)隊已經(jīng)表明,掌握圍棋所需技能并不為人類獨享。他們的一款叫做Alpha Go的計算機(jī)程序擊敗了歐洲圍棋冠軍Fan Hui,戰(zhàn)績?yōu)?:0。Alpha Go的下一個挑戰(zhàn)將是世界頂級圍棋選手之一,李世乭,比賽將于三月份在首爾舉行。
開發(fā)Alpha Go的團(tuán)隊是Google的DeepMind,這是2014年Google在英國收購的一家很小的人工智能公司。這個團(tuán)隊使用的是一種非常流行和成功的機(jī)器學(xué)習(xí)方法,叫做深度學(xué)習(xí),同時還加上了另一種模擬技術(shù)來對潛在的步法進(jìn)行建模。深度學(xué)習(xí)需要對一個大型的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,使其對數(shù)據(jù)中的模式做出反應(yīng)。事實還證明,它對圖像和音頻處理也十分有用。許多大型科技公司都在探索新方法來使用這種技術(shù)。
要想掌握圍棋,需要不斷實踐練習(xí),也需要識別棋子布局中微妙模式的巧妙本事。
DeepMind團(tuán)隊表示,Alpha Go的關(guān)鍵在于使用的深度神經(jīng)網(wǎng)絡(luò),實際上,在Alpha Go中有兩種不同的神經(jīng)網(wǎng)絡(luò),第一種叫做政策網(wǎng)絡(luò)(policy network),用來預(yù)測下一步;第二種叫做價值網(wǎng)絡(luò)(value network),用來預(yù)測棋盤上不同的分布會帶來什么不同的結(jié)果。Alpha Go使用它們的方法是,把非常復(fù)雜的搜索樹減少到可操作的規(guī)模。所以,它并不是在每一步都要考慮幾百種步數(shù),而只考慮政策網(wǎng)絡(luò)提供的幾十種最有前景的步法,價值網(wǎng)絡(luò)的作用是減少搜索的深度,所以,它的搜索深度并不是特別深,它并不是一下子搜索出直達(dá)比賽末尾的300多步,而是搜索更少的步數(shù),比如20多步,并評估這些位置,而不是一路評估到底,看誰最終能贏。搜索并不是靠蠻力,而是與某種與想象力很相似的東西。
領(lǐng)導(dǎo)這項研究的另一位Google研究者David Silver說:“圍棋有著巨大的搜索空間,用蠻力很難解決。Alpha Go的關(guān)鍵在于,將搜索空間縮小到可以操作的范圍。這個方法讓Alpha Go比以前的方法都更像人類。”
Demis Hassabis說,圍棋是人類發(fā)明的最復(fù)雜也是最美的游戲。通過戰(zhàn)勝Fan Hui,「我們的程序贏得了長期以來一項重大人工智能挑戰(zhàn)的勝利。而這項技術(shù)在Google的首個用途將是開發(fā)更好的個人助理軟件。這樣的個人助理能夠從用戶在線行為中學(xué)習(xí)用戶偏好,并對產(chǎn)品和事件作出更符合直覺的建議。
Hassabis還說道,他們用來創(chuàng)造Alpha Go的技術(shù),也正是他的團(tuán)隊努力開發(fā)強(qiáng)人工智能的嘗試。他說:“最終,我們想要將這些技術(shù)應(yīng)用到真實世界的重要問題中。因為我們用的方法是通用的,我們希望有一天,它們能延伸得更廣,幫助解決最緊迫的社會問題,從醫(yī)藥診斷到環(huán)境模型。”
實際上在幾年前,大多數(shù)圍棋選手和棋類程序員都相信,圍棋實在是太困難了,必須要花上幾十年的時間,計算機(jī)才能達(dá)到人類專業(yè)棋手的標(biāo)準(zhǔn)水平。對計算機(jī)來說,圍棋比象棋的挑戰(zhàn)更大,原因有二:每個回合可能存在的走法數(shù)量多得多,沒有一個簡單的方法來測算優(yōu)勢。所以,棋手只能學(xué)著在棋盤上幾百個棋子中識別出抽象模式。即使是專家也經(jīng)常會很難解釋為什么一步棋看起來很有優(yōu)勢或有問題。
眾專家的評價
1997年,當(dāng)IBM深藍(lán)計算機(jī)在象棋上稱霸時,它使用的是手工編碼的規(guī)則,在搜索時將窮盡所有可能發(fā)生的步法。Alpha Go從本質(zhì)上則是隨著時間而學(xué)習(xí)的,可以識別出可能具有優(yōu)勢的模式,然后模擬出數(shù)量有限的潛在結(jié)果。
Google的成就受到了廣泛的祝賀,也引起了許多本領(lǐng)域研究者的驚訝。
新成立的非營利性組織OpenAI的AI研究者Ilya Sutskever說:“從技術(shù)的角度說,這個研究對AI具有紀(jì)念碑式的貢獻(xiàn)。”他說,這個成果非常重要,因為Alpha Go從本質(zhì)上教會了自己如何贏得比賽。“同樣的技術(shù)也可以用于其他棋類游戲中,以獲得高超表現(xiàn)。”
加拿大阿爾伯塔大學(xué)的計算機(jī)科學(xué)教授Michael Bowling最近開發(fā)了一個能在撲克牌上贏過人類的程序。他聽到這個消息也很興奮。他相信,這個方法在許多可以運用機(jī)器學(xué)習(xí)的領(lǐng)域都很有用。他說:“許多我們通常認(rèn)為是人類智能的東西其實都構(gòu)建于模式匹配上。許多被我們看做學(xué)習(xí)的東西,其實都是在過去看到了某些模式,然后意識到它們與現(xiàn)在的狀況有何聯(lián)系。”
紐約大學(xué)認(rèn)知教授Gary Marcus說:“這不是所謂的端對端深度學(xué)習(xí)系統(tǒng)。而是精心建構(gòu)的模塊化系統(tǒng),在前端具有一些縝密的手工操作,也就是說,幾乎媲美人類心智:豐富,模塊化,通過演化做出些微調(diào)整,而不僅僅是一束隨機(jī)互聯(lián)的神經(jīng)元,完全通過經(jīng)驗做出調(diào)整。”
Facebook不甘示弱:提前發(fā)表論文,LeCun精彩回應(yīng)
而就在國外媒體對谷歌這篇論文進(jìn)行大規(guī)模報道之前,F(xiàn)acebook人工智能實驗室(以下簡稱FAIR)負(fù)責(zé)人Yann LeCun也非常“巧合”地在自己Facebook主頁貼出了Facebook剛剛發(fā)表在arXiv.org的一篇針對圍棋問題的論文,還意味深長的從圍棋問題的歷史、相關(guān)技術(shù)、Facebook研究進(jìn)展等方面進(jìn)行了詳細(xì)說明。
首先,Yann LeCun解釋了我們?yōu)槭裁匆芯繃澹克f,作為一項非常困難的任務(wù),圍棋是一個很好的案例來驗證各種學(xué)習(xí)技能的結(jié)合,包括模式識別、問題解決和規(guī)劃等,也是一個可以用來測試新想法的工具,包括機(jī)器學(xué)習(xí)、推理和規(guī)劃的結(jié)合。
Yann LeCun說,F(xiàn)acebook FAIR的一位科學(xué)家Yuandong在幾個月前開始獨立研究圍棋項目,他開發(fā)了一款叫做「黑暗森林」的機(jī)器人。根據(jù)論文中的描述,最新版機(jī)器人將卷積神經(jīng)網(wǎng)絡(luò)和目前圍棋機(jī)器人的經(jīng)典方法——蒙特卡洛樹搜索進(jìn)行了有機(jī)結(jié)合。
此前,曾在2014年東京圍棋擂臺賽上通過讓子以微弱優(yōu)勢戰(zhàn)勝人類棋手的Crazy Stone就是依賴于蒙特卡洛樹搜索,這是一套能夠從本質(zhì)上對每一步走法的所有結(jié)果都進(jìn)行分析的系統(tǒng)。所以,有些機(jī)器能夠非常精通西洋棋、國際象棋和其他棋類。它們比人類棋手看的更遠(yuǎn),所以能夠輕松的擊敗他們。但圍棋不是這樣,下圍棋有太多的可能性需要考慮。在國際象棋的任何一個回合,平均可能的走法有35種。但圍棋的走法卻能達(dá)到250種。并且在這250種可能的走法之后,還對應(yīng)著另外250種可能,以此類推。因此,用蒙特卡洛數(shù)搜索去計算每一步走法所帶來的所有結(jié)果是不可能的。
從Facebook的研究成果可以看出,通過將訓(xùn)練過的卷積神經(jīng)網(wǎng)絡(luò)和蒙特卡洛樹搜索的結(jié)合,我們可以在模式匹配功能上再加入策略評估這個新功能。這也將有益于游戲之外的其他應(yīng)用,比如說自然語言生成,在回復(fù)中能夠加上自發(fā)性和多樣性,同時也能進(jìn)行推理,而推理所需要的就是搜索可能的答案并挑選出最優(yōu)的邏輯鏈。我們的興趣并不在于要開發(fā)出世界上最好的圍棋選手,但這是我們?nèi)斯ぶ悄苎芯窟M(jìn)展的一次有趣練習(xí)。
從去年11月起,DarkForest就已經(jīng)在公開的圍棋服務(wù)器KGS上擊敗了一些人類選手和其他圍棋機(jī)器人。DarkForest的第一版完全是基于卷積神經(jīng)網(wǎng)絡(luò)。通過有監(jiān)督模式的訓(xùn)練讓它來「模仿」人類選手。我們使用了大量人類專業(yè)選手比賽錄像的數(shù)據(jù)庫,然后將比賽的棋盤格局輸入到卷積神經(jīng)網(wǎng)絡(luò)中,以此來訓(xùn)練它預(yù)測人類選手的下一步走法。這需要大規(guī)模卷積神經(jīng)網(wǎng)絡(luò),它的輸入是一個帶有注釋的完整的19×19圍棋棋盤,而神經(jīng)網(wǎng)絡(luò)輸出的是一個代表著人類專業(yè)棋手每一步走法概率分布的棋盤地圖。這充分利用了卷積神經(jīng)網(wǎng)絡(luò)的模式識別能力,而這種能力在圖像中的物體識別、人臉識別和語音識別方面的成功早就得到了證明。
LeCun表示,將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于圍棋的想法要追溯到很久之前的1994年,Nicol Schraudolph及合作者共同在NIPS上發(fā)表了一篇論文,將卷積神經(jīng)網(wǎng)絡(luò)和增強(qiáng)學(xué)習(xí)結(jié)合起來應(yīng)用于圍棋問題研究。但當(dāng)時對這些技術(shù)的理解還不夠深入,而且那時的計算機(jī)限制了可以被訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)的規(guī)模和復(fù)雜性。近期,多倫多大學(xué)的博士生Chris Maddison與Google DeepMind的研究者在ICLR 2015上共同發(fā)表了一篇論文,文章中提到,用比賽視頻數(shù)據(jù)庫訓(xùn)練過的卷積神經(jīng)網(wǎng)絡(luò)能夠在預(yù)測走法上擁有優(yōu)秀表現(xiàn)。愛丁堡大學(xué)Amos Storkey團(tuán)隊發(fā)表在ICML上的論文同樣體現(xiàn)出這個結(jié)果。許多研究者開始相信,或許深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)真正能夠在圍棋上有所作為。Amos Storkey說:“圍棋是由棋盤上的各種模式來驅(qū)動,深度神經(jīng)網(wǎng)絡(luò)非常擅長從棋盤的各種模式中進(jìn)行歸納總結(jié),因此非常合適下圍棋。”
這就是促使Yuandong將第一版黑暗森林發(fā)布在KGS服務(wù)器上的原因,此后,一個更加先進(jìn)的版本很快攀升到了KGS服務(wù)器上的第三名,遠(yuǎn)好于之前的研究。這項排名要好于大多數(shù)開源程序,即便是人類棋手,也需要花費幾年時間才能達(dá)到這個水平。人類棋手喜歡和它對弈的原因在于它的走法非常像人類棋手。但同時它又非常擅長作戰(zhàn)策略。贏下局部和策略有關(guān)的戰(zhàn)爭有時需要非常具體的探索,而非單純的模式識別。
很明顯,通過將卷積神經(jīng)網(wǎng)絡(luò)和蒙特卡洛樹搜索的結(jié)合可以提升程序在策略方面的能力。在過去五年中,計算機(jī)圍棋程序通過蒙特卡洛樹搜索取得了很大進(jìn)步。蒙特卡洛樹搜索是一種應(yīng)用于計算機(jī)國際象棋程序中的樹形搜索方法的“隨機(jī)”版本。INRIA的法國研究者團(tuán)隊第一次提出了蒙特卡洛樹搜索。之后,這種方法很快在幾個最好的計算機(jī)圍棋團(tuán)隊中流傳開來,并變成開發(fā)頂級圍棋機(jī)器人所需要的標(biāo)準(zhǔn)方法。
今天發(fā)布的新論文描述了DarkForest的最新版本,被稱作黑暗森林3,它使用了卷積神經(jīng)網(wǎng)絡(luò)和蒙特卡洛樹搜索的結(jié)合。這個程序已經(jīng)在KGS服務(wù)器上運營了一個多月,并取得了成人組第五的排名。這個排名意味著它已經(jīng)成為全美國最好的前100名選手之一,也步入了世界最頂尖圍棋機(jī)器人之列。
有趣的是,這個項目是由我們一個小團(tuán)隊僅花了幾個月時間開發(fā)出來的,沒有投入任何圍棋專家資源(當(dāng)然,除了比賽錄像數(shù)據(jù)庫)。這是對機(jī)器學(xué)習(xí)威力的一次偉大證明。
接下來明智的選擇是將卷積神經(jīng)網(wǎng)絡(luò)和蒙特卡洛樹搜索與增強(qiáng)學(xué)習(xí)結(jié)合起來,就像Nicol Schraudolph的開創(chuàng)性研究。使用增強(qiáng)學(xué)習(xí)的優(yōu)勢在于可以讓機(jī)器自己與自己對戰(zhàn)連續(xù)玩很多次游戲,自己訓(xùn)練自己。這個想法可以追溯到Gerry Tesauro的“NeuroGammon“,一個二十世紀(jì)九十年代的計算機(jī)西洋雙陸棋程序,它將神經(jīng)網(wǎng)絡(luò)和增強(qiáng)學(xué)習(xí)結(jié)合了起來,并打敗了這款游戲的世界冠軍。我們知道,世界范圍內(nèi)的幾個團(tuán)隊正在積極研究這一系統(tǒng)。我們的系統(tǒng)仍處在開發(fā)中。
Yann LeCun最后的結(jié)尾非常有深意:
Facebook對研究的態(tài)度素來是“盡早發(fā)布,時常發(fā)布”,以此詮釋開源軟件世界頗受歡迎的座右銘。我們的圍棋機(jī)器人系統(tǒng)已經(jīng)運營在KGS服務(wù)器上,我們的論文已于早些時候發(fā)表在 arXiv.org。我們認(rèn)為,當(dāng)研究團(tuán)隊彼此迅速交換研究成果并以彼此研究為基礎(chǔ)來推進(jìn)研究時,科學(xué)會進(jìn)步的更快。
谷歌和Facebook的圍棋軍備之爭
谷歌和Facebook正在開展一場破解圍棋的算法競賽。此前,F(xiàn)acebook一名研究員Rob Fergue認(rèn)為,“圍棋就是高級人工智能的目標(biāo)。”同時他也承認(rèn),F(xiàn)acebook此舉至少在小范圍內(nèi)是在與谷歌進(jìn)行競爭。谷歌的圍棋研究令人印象深刻。
如今,谷歌和Facebook使用深度學(xué)習(xí)來識別網(wǎng)絡(luò)圖片中的人臉;計算機(jī)能夠識別出我們的語音命令;可以將一種語言翻譯成另一種;有時甚至能夠理解人類的自然語言。
這些技術(shù)都依賴于深度神經(jīng)網(wǎng)絡(luò)。如果你將足夠多的關(guān)于樹木的照片輸入進(jìn)去,它們就能學(xué)會識別出一棵樹。如果輸入足夠多的對話,它們就能學(xué)會如何進(jìn)行一段得體的對話。如果輸入足夠多的圍棋走法,它們就能學(xué)會下圍棋。
“圍棋是由棋盤上的各種模式來驅(qū)動,深度神經(jīng)網(wǎng)絡(luò)非常擅長從棋盤的各種模式中進(jìn)行歸納總結(jié),因此非常合適下圍棋。”愛丁堡大學(xué)教授 Amos Storkey表示。他正在使用深度神經(jīng)網(wǎng)絡(luò)來處理圍棋問題,就像谷歌和Facebook所做的那樣。
他們相信這些神經(jīng)網(wǎng)絡(luò)最終能夠縮小機(jī)器和人類之間的差距。在下圍棋時,即使是最高段的棋手也無法檢查出每一步走法所帶來的所有結(jié)果。他們往往是基于盤面來進(jìn)行決策。借助于深度學(xué)習(xí),研究者就可以對這種方法進(jìn)行復(fù)制。將成功走法的圖片輸入到神經(jīng)網(wǎng)絡(luò)中,從而幫助機(jī)器掌握每一次成功走法的模樣。“這種方法并不是希望找出最優(yōu)走法,而是學(xué)習(xí)人類的下棋風(fēng)格,然后對人類棋手進(jìn)行有效的復(fù)制。”Storkey說到。
谷歌和Facebook交戰(zhàn)過程如下(美國當(dāng)?shù)貢r間):
1)2015年11月,F(xiàn)acebook在Arxiv發(fā)表論文,提到了一種將蒙特卡洛數(shù)搜索與深度學(xué)習(xí)相結(jié)合的方法,這套系統(tǒng)在與人類棋手的比賽中絲毫不落下風(fēng),公司表示,它甚至能夠表現(xiàn)出人類般的下棋風(fēng)格。畢竟,這套系統(tǒng)是從人類棋手的棋路中進(jìn)行學(xué)習(xí)的。RéMI COULOM Coulom稱這項結(jié)果“非常驚人”。
2)2015年12月初,谷歌DeepMind創(chuàng)始人Hassabis在接受視頻采訪被問到“或許你們會在圍棋上有所突破?”Hassabis笑著說:“我現(xiàn)在不能談?wù)撨@件事,但是幾個月后,我相信會出現(xiàn)一個大驚喜。”
3)2016年1月26日,F(xiàn)acebook對去年11月發(fā)表的論文《Better Computer Go Player with Neural Network and Long-term Prediction》進(jìn)行了更新,Yann LeCun在個人Facebook主頁發(fā)表長篇聲明。
4)2016年1月27日,谷歌DeepMind在《Nature》發(fā)表論文。