谷歌DeepMind團(tuán)隊在最新一期《Nature》上發(fā)表論文稱，他們研發(fā)的人工智能算法擊敗了歐洲圍棋冠軍Fan Hui，同時也擊敗了目前最好的圍棋程序中99.8%的對手。而幫助他們解決這個人工智能歷史難題的關(guān)鍵是使用了政策網(wǎng)絡(luò)（policy network）和價值網(wǎng)絡(luò)（value network）兩種深度神經(jīng)網(wǎng)絡(luò)。而就在前一天，F(xiàn)acebook也在arXiv.org上更新了一篇用卷積神經(jīng)網(wǎng)絡(luò)和蒙特卡洛樹搜索相結(jié)合來解決圍棋問題的新、論文。并且，公司人工智能實驗室負(fù)責(zé)人Yann LeCun在自己的FB主頁上針對谷歌和Facebook的研究發(fā)表了一段非常精彩的說明。

谷歌DeepMind團(tuán)隊發(fā)表Nature封面論文，贏得圍棋人工智能挑戰(zhàn)

在邁向搭建具有更類似人類直覺的人工智能道路上，谷歌取得了出乎意料的輝煌一步；他們研發(fā)出能夠在極其復(fù)雜的圍棋游戲中擊敗專家級人類選手的計算機(jī)。他們將論文發(fā)表在了《Nature》上。

谷歌團(tuán)隊已經(jīng)表明，掌握圍棋所需技能并不為人類獨享。他們的一款叫做Alpha Go的計算機(jī)程序擊敗了歐洲圍棋冠軍Fan Hui，戰(zhàn)績?yōu)?:0。Alpha Go的下一個挑戰(zhàn)將是世界頂級圍棋選手之一，李世乭，比賽將于三月份在首爾舉行。

開發(fā)Alpha Go的團(tuán)隊是Google的DeepMind，這是2014年Google在英國收購的一家很小的人工智能公司。這個團(tuán)隊使用的是一種非常流行和成功的機(jī)器學(xué)習(xí)方法，叫做深度學(xué)習(xí)，同時還加上了另一種模擬技術(shù)來對潛在的步法進(jìn)行建模。深度學(xué)習(xí)需要對一個大型的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使其對數(shù)據(jù)中的模式做出反應(yīng)。事實還證明，它對圖像和音頻處理也十分有用。許多大型科技公司都在探索新方法來使用這種技術(shù)。

要想掌握圍棋，需要不斷實踐練習(xí)，也需要識別棋子布局中微妙模式的巧妙本事。

DeepMind團(tuán)隊表示，Alpha Go的關(guān)鍵在于使用的深度神經(jīng)網(wǎng)絡(luò)，實際上，在Alpha Go中有兩種不同的神經(jīng)網(wǎng)絡(luò)，第一種叫做政策網(wǎng)絡(luò)（policy network），用來預(yù)測下一步；第二種叫做價值網(wǎng)絡(luò)（value network），用來預(yù)測棋盤上不同的分布會帶來什么不同的結(jié)果。Alpha Go使用它們的方法是，把非常復(fù)雜的搜索樹減少到可操作的規(guī)模。所以，它并不是在每一步都要考慮幾百種步數(shù)，而只考慮政策網(wǎng)絡(luò)提供的幾十種最有前景的步法，價值網(wǎng)絡(luò)的作用是減少搜索的深度，所以，它的搜索深度并不是特別深，它并不是一下子搜索出直達(dá)比賽末尾的300多步，而是搜索更少的步數(shù)，比如20多步，并評估這些位置，而不是一路評估到底，看誰最終能贏。搜索并不是靠蠻力，而是與某種與想象力很相似的東西。

領(lǐng)導(dǎo)這項研究的另一位Google研究者David Silver說：“圍棋有著巨大的搜索空間，用蠻力很難解決。Alpha Go的關(guān)鍵在于，將搜索空間縮小到可以操作的范圍。這個方法讓Alpha Go比以前的方法都更像人類。”

Demis Hassabis說，圍棋是人類發(fā)明的最復(fù)雜也是最美的游戲。通過戰(zhàn)勝Fan Hui，「我們的程序贏得了長期以來一項重大人工智能挑戰(zhàn)的勝利。而這項技術(shù)在Google的首個用途將是開發(fā)更好的個人助理軟件。這樣的個人助理能夠從用戶在線行為中學(xué)習(xí)用戶偏好，并對產(chǎn)品和事件作出更符合直覺的建議。

Hassabis還說道，他們用來創(chuàng)造Alpha Go的技術(shù)，也正是他的團(tuán)隊努力開發(fā)強(qiáng)人工智能的嘗試。他說：“最終，我們想要將這些技術(shù)應(yīng)用到真實世界的重要問題中。因為我們用的方法是通用的，我們希望有一天，它們能延伸得更廣，幫助解決最緊迫的社會問題，從醫(yī)藥診斷到環(huán)境模型。”

實際上在幾年前，大多數(shù)圍棋選手和棋類程序員都相信，圍棋實在是太困難了，必須要花上幾十年的時間，計算機(jī)才能達(dá)到人類專業(yè)棋手的標(biāo)準(zhǔn)水平。對計算機(jī)來說，圍棋比象棋的挑戰(zhàn)更大，原因有二：每個回合可能存在的走法數(shù)量多得多，沒有一個簡單的方法來測算優(yōu)勢。所以，棋手只能學(xué)著在棋盤上幾百個棋子中識別出抽象模式。即使是專家也經(jīng)常會很難解釋為什么一步棋看起來很有優(yōu)勢或有問題。

眾專家的評價

1997年，當(dāng)IBM深藍(lán)計算機(jī)在象棋上稱霸時，它使用的是手工編碼的規(guī)則，在搜索時將窮盡所有可能發(fā)生的步法。Alpha Go從本質(zhì)上則是隨著時間而學(xué)習(xí)的，可以識別出可能具有優(yōu)勢的模式，然后模擬出數(shù)量有限的潛在結(jié)果。

Google的成就受到了廣泛的祝賀，也引起了許多本領(lǐng)域研究者的驚訝。

新成立的非營利性組織OpenAI的AI研究者Ilya Sutskever說：“從技術(shù)的角度說，這個研究對AI具有紀(jì)念碑式的貢獻(xiàn)。”他說，這個成果非常重要，因為Alpha Go從本質(zhì)上教會了自己如何贏得比賽。“同樣的技術(shù)也可以用于其他棋類游戲中，以獲得高超表現(xiàn)。”

加拿大阿爾伯塔大學(xué)的計算機(jī)科學(xué)教授Michael Bowling最近開發(fā)了一個能在撲克牌上贏過人類的程序。他聽到這個消息也很興奮。他相信，這個方法在許多可以運用機(jī)器學(xué)習(xí)的領(lǐng)域都很有用。他說：“許多我們通常認(rèn)為是人類智能的東西其實都構(gòu)建于模式匹配上。許多被我們看做學(xué)習(xí)的東西，其實都是在過去看到了某些模式，然后意識到它們與現(xiàn)在的狀況有何聯(lián)系。”

紐約大學(xué)認(rèn)知教授Gary Marcus說：“這不是所謂的端對端深度學(xué)習(xí)系統(tǒng)。而是精心建構(gòu)的模塊化系統(tǒng)，在前端具有一些縝密的手工操作，也就是說，幾乎媲美人類心智：豐富，模塊化，通過演化做出些微調(diào)整，而不僅僅是一束隨機(jī)互聯(lián)的神經(jīng)元，完全通過經(jīng)驗做出調(diào)整。”

Facebook不甘示弱：提前發(fā)表論文，LeCun精彩回應(yīng)

而就在國外媒體對谷歌這篇論文進(jìn)行大規(guī)模報道之前，F(xiàn)acebook人工智能實驗室（以下簡稱FAIR）負(fù)責(zé)人Yann LeCun也非常“巧合”地在自己Facebook主頁貼出了Facebook剛剛發(fā)表在arXiv.org的一篇針對圍棋問題的論文，還意味深長的從圍棋問題的歷史、相關(guān)技術(shù)、Facebook研究進(jìn)展等方面進(jìn)行了詳細(xì)說明。

首先，Yann LeCun解釋了我們?yōu)槭裁匆芯繃澹克f，作為一項非常困難的任務(wù)，圍棋是一個很好的案例來驗證各種學(xué)習(xí)技能的結(jié)合，包括模式識別、問題解決和規(guī)劃等，也是一個可以用來測試新想法的工具，包括機(jī)器學(xué)習(xí)、推理和規(guī)劃的結(jié)合。

Yann LeCun說，F(xiàn)acebook FAIR的一位科學(xué)家Yuandong在幾個月前開始獨立研究圍棋項目，他開發(fā)了一款叫做「黑暗森林」的機(jī)器人。根據(jù)論文中的描述，最新版機(jī)器人將卷積神經(jīng)網(wǎng)絡(luò)和目前圍棋機(jī)器人的經(jīng)典方法——蒙特卡洛樹搜索進(jìn)行了有機(jī)結(jié)合。

此前，曾在2014年東京圍棋擂臺賽上通過讓子以微弱優(yōu)勢戰(zhàn)勝人類棋手的Crazy Stone就是依賴于蒙特卡洛樹搜索，這是一套能夠從本質(zhì)上對每一步走法的所有結(jié)果都進(jìn)行分析的系統(tǒng)。所以，有些機(jī)器能夠非常精通西洋棋、國際象棋和其他棋類。它們比人類棋手看的更遠(yuǎn)，所以能夠輕松的擊敗他們。但圍棋不是這樣，下圍棋有太多的可能性需要考慮。在國際象棋的任何一個回合，平均可能的走法有35種。但圍棋的走法卻能達(dá)到250種。并且在這250種可能的走法之后，還對應(yīng)著另外250種可能，以此類推。因此，用蒙特卡洛數(shù)搜索去計算每一步走法所帶來的所有結(jié)果是不可能的。

從Facebook的研究成果可以看出，通過將訓(xùn)練過的卷積神經(jīng)網(wǎng)絡(luò)和蒙特卡洛樹搜索的結(jié)合，我們可以在模式匹配功能上再加入策略評估這個新功能。這也將有益于游戲之外的其他應(yīng)用，比如說自然語言生成，在回復(fù)中能夠加上自發(fā)性和多樣性，同時也能進(jìn)行推理，而推理所需要的就是搜索可能的答案并挑選出最優(yōu)的邏輯鏈。我們的興趣并不在于要開發(fā)出世界上最好的圍棋選手，但這是我們?nèi)斯ぶ悄苎芯窟M(jìn)展的一次有趣練習(xí)。

從去年11月起，DarkForest就已經(jīng)在公開的圍棋服務(wù)器KGS上擊敗了一些人類選手和其他圍棋機(jī)器人。DarkForest的第一版完全是基于卷積神經(jīng)網(wǎng)絡(luò)。通過有監(jiān)督模式的訓(xùn)練讓它來「模仿」人類選手。我們使用了大量人類專業(yè)選手比賽錄像的數(shù)據(jù)庫，然后將比賽的棋盤格局輸入到卷積神經(jīng)網(wǎng)絡(luò)中，以此來訓(xùn)練它預(yù)測人類選手的下一步走法。這需要大規(guī)模卷積神經(jīng)網(wǎng)絡(luò)，它的輸入是一個帶有注釋的完整的19×19圍棋棋盤，而神經(jīng)網(wǎng)絡(luò)輸出的是一個代表著人類專業(yè)棋手每一步走法概率分布的棋盤地圖。這充分利用了卷積神經(jīng)網(wǎng)絡(luò)的模式識別能力，而這種能力在圖像中的物體識別、人臉識別和語音識別方面的成功早就得到了證明。

LeCun表示，將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于圍棋的想法要追溯到很久之前的1994年，Nicol Schraudolph及合作者共同在NIPS上發(fā)表了一篇論文，將卷積神經(jīng)網(wǎng)絡(luò)和增強(qiáng)學(xué)習(xí)結(jié)合起來應(yīng)用于圍棋問題研究。但當(dāng)時對這些技術(shù)的理解還不夠深入，而且那時的計算機(jī)限制了可以被訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)的規(guī)模和復(fù)雜性。近期，多倫多大學(xué)的博士生Chris Maddison與Google DeepMind的研究者在ICLR 2015上共同發(fā)表了一篇論文，文章中提到，用比賽視頻數(shù)據(jù)庫訓(xùn)練過的卷積神經(jīng)網(wǎng)絡(luò)能夠在預(yù)測走法上擁有優(yōu)秀表現(xiàn)。愛丁堡大學(xué)Amos Storkey團(tuán)隊發(fā)表在ICML上的論文同樣體現(xiàn)出這個結(jié)果。許多研究者開始相信，或許深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)真正能夠在圍棋上有所作為。Amos Storkey說：“圍棋是由棋盤上的各種模式來驅(qū)動，深度神經(jīng)網(wǎng)絡(luò)非常擅長從棋盤的各種模式中進(jìn)行歸納總結(jié)，因此非常合適下圍棋。”

這就是促使Yuandong將第一版黑暗森林發(fā)布在KGS服務(wù)器上的原因，此后，一個更加先進(jìn)的版本很快攀升到了KGS服務(wù)器上的第三名，遠(yuǎn)好于之前的研究。這項排名要好于大多數(shù)開源程序，即便是人類棋手，也需要花費幾年時間才能達(dá)到這個水平。人類棋手喜歡和它對弈的原因在于它的走法非常像人類棋手。但同時它又非常擅長作戰(zhàn)策略。贏下局部和策略有關(guān)的戰(zhàn)爭有時需要非常具體的探索，而非單純的模式識別。

很明顯，通過將卷積神經(jīng)網(wǎng)絡(luò)和蒙特卡洛樹搜索的結(jié)合可以提升程序在策略方面的能力。在過去五年中，計算機(jī)圍棋程序通過蒙特卡洛樹搜索取得了很大進(jìn)步。蒙特卡洛樹搜索是一種應(yīng)用于計算機(jī)國際象棋程序中的樹形搜索方法的“隨機(jī)”版本。INRIA的法國研究者團(tuán)隊第一次提出了蒙特卡洛樹搜索。之后，這種方法很快在幾個最好的計算機(jī)圍棋團(tuán)隊中流傳開來，并變成開發(fā)頂級圍棋機(jī)器人所需要的標(biāo)準(zhǔn)方法。

今天發(fā)布的新論文描述了DarkForest的最新版本，被稱作黑暗森林3，它使用了卷積神經(jīng)網(wǎng)絡(luò)和蒙特卡洛樹搜索的結(jié)合。這個程序已經(jīng)在KGS服務(wù)器上運營了一個多月，并取得了成人組第五的排名。這個排名意味著它已經(jīng)成為全美國最好的前100名選手之一，也步入了世界最頂尖圍棋機(jī)器人之列。

有趣的是，這個項目是由我們一個小團(tuán)隊僅花了幾個月時間開發(fā)出來的，沒有投入任何圍棋專家資源（當(dāng)然，除了比賽錄像數(shù)據(jù)庫）。這是對機(jī)器學(xué)習(xí)威力的一次偉大證明。

接下來明智的選擇是將卷積神經(jīng)網(wǎng)絡(luò)和蒙特卡洛樹搜索與增強(qiáng)學(xué)習(xí)結(jié)合起來，就像Nicol Schraudolph的開創(chuàng)性研究。使用增強(qiáng)學(xué)習(xí)的優(yōu)勢在于可以讓機(jī)器自己與自己對戰(zhàn)連續(xù)玩很多次游戲，自己訓(xùn)練自己。這個想法可以追溯到Gerry Tesauro的“NeuroGammon“，一個二十世紀(jì)九十年代的計算機(jī)西洋雙陸棋程序，它將神經(jīng)網(wǎng)絡(luò)和增強(qiáng)學(xué)習(xí)結(jié)合了起來，并打敗了這款游戲的世界冠軍。我們知道，世界范圍內(nèi)的幾個團(tuán)隊正在積極研究這一系統(tǒng)。我們的系統(tǒng)仍處在開發(fā)中。

Yann LeCun最后的結(jié)尾非常有深意：

Facebook對研究的態(tài)度素來是“盡早發(fā)布，時常發(fā)布”，以此詮釋開源軟件世界頗受歡迎的座右銘。我們的圍棋機(jī)器人系統(tǒng)已經(jīng)運營在KGS服務(wù)器上，我們的論文已于早些時候發(fā)表在 arXiv.org。我們認(rèn)為，當(dāng)研究團(tuán)隊彼此迅速交換研究成果并以彼此研究為基礎(chǔ)來推進(jìn)研究時，科學(xué)會進(jìn)步的更快。

谷歌和Facebook的圍棋軍備之爭

谷歌和Facebook正在開展一場破解圍棋的算法競賽。此前，F(xiàn)acebook一名研究員Rob Fergue認(rèn)為，“圍棋就是高級人工智能的目標(biāo)。”同時他也承認(rèn)，F(xiàn)acebook此舉至少在小范圍內(nèi)是在與谷歌進(jìn)行競爭。谷歌的圍棋研究令人印象深刻。

如今，谷歌和Facebook使用深度學(xué)習(xí)來識別網(wǎng)絡(luò)圖片中的人臉；計算機(jī)能夠識別出我們的語音命令；可以將一種語言翻譯成另一種；有時甚至能夠理解人類的自然語言。

這些技術(shù)都依賴于深度神經(jīng)網(wǎng)絡(luò)。如果你將足夠多的關(guān)于樹木的照片輸入進(jìn)去，它們就能學(xué)會識別出一棵樹。如果輸入足夠多的對話，它們就能學(xué)會如何進(jìn)行一段得體的對話。如果輸入足夠多的圍棋走法，它們就能學(xué)會下圍棋。

“圍棋是由棋盤上的各種模式來驅(qū)動，深度神經(jīng)網(wǎng)絡(luò)非常擅長從棋盤的各種模式中進(jìn)行歸納總結(jié)，因此非常合適下圍棋。”愛丁堡大學(xué)教授 Amos Storkey表示。他正在使用深度神經(jīng)網(wǎng)絡(luò)來處理圍棋問題，就像谷歌和Facebook所做的那樣。

他們相信這些神經(jīng)網(wǎng)絡(luò)最終能夠縮小機(jī)器和人類之間的差距。在下圍棋時，即使是最高段的棋手也無法檢查出每一步走法所帶來的所有結(jié)果。他們往往是基于盤面來進(jìn)行決策。借助于深度學(xué)習(xí)，研究者就可以對這種方法進(jìn)行復(fù)制。將成功走法的圖片輸入到神經(jīng)網(wǎng)絡(luò)中，從而幫助機(jī)器掌握每一次成功走法的模樣。“這種方法并不是希望找出最優(yōu)走法，而是學(xué)習(xí)人類的下棋風(fēng)格，然后對人類棋手進(jìn)行有效的復(fù)制。”Storkey說到。

谷歌和Facebook交戰(zhàn)過程如下（美國當(dāng)?shù)貢r間）：

1）2015年11月，F(xiàn)acebook在Arxiv發(fā)表論文，提到了一種將蒙特卡洛數(shù)搜索與深度學(xué)習(xí)相結(jié)合的方法，這套系統(tǒng)在與人類棋手的比賽中絲毫不落下風(fēng)，公司表示，它甚至能夠表現(xiàn)出人類般的下棋風(fēng)格。畢竟，這套系統(tǒng)是從人類棋手的棋路中進(jìn)行學(xué)習(xí)的。RéMI COULOM Coulom稱這項結(jié)果“非常驚人”。

2）2015年12月初，谷歌DeepMind創(chuàng)始人Hassabis在接受視頻采訪被問到“或許你們會在圍棋上有所突破？”Hassabis笑著說：“我現(xiàn)在不能談?wù)撨@件事，但是幾個月后，我相信會出現(xiàn)一個大驚喜。”

3）2016年1月26日，F(xiàn)acebook對去年11月發(fā)表的論文《Better Computer Go Player with Neural Network and Long-term Prediction》進(jìn)行了更新，Yann LeCun在個人Facebook主頁發(fā)表長篇聲明。

4）2016年1月27日，谷歌DeepMind在《Nature》發(fā)表論文。