在人工智能界有一種說法，認為機器學(xué)習(xí)是人工智能領(lǐng)域中最能體現(xiàn)智能的一個分支。從歷史來看，機器學(xué)習(xí)似乎也是人工智能中發(fā)展最快的分支之一。

在二十世紀(jì)八十年代的時候，符號學(xué)習(xí)可能還是機器學(xué)習(xí)的主流，而自從二十世紀(jì)九十年代以來，就一直是統(tǒng)計機器學(xué)習(xí)的天下了。不知道是否可以這樣認為：從主流為符號機器學(xué)習(xí)發(fā)展到主流為統(tǒng)計機器學(xué)習(xí)，反映了機器學(xué)習(xí)從純粹的理論研究和模型研究發(fā)展到以解決現(xiàn)實生活中實際問題為目的的應(yīng)用研究，這是科學(xué)研究的一種進步。

平時由于機器學(xué)習(xí)界的朋友接觸多了，經(jīng)常獲得一些道聽途說的信息以及專家們對機器學(xué)習(xí)的現(xiàn)狀及其發(fā)展前途的評論。在此過程中，難免會產(chǎn)生一些自己的疑問。借此機會把它寫下來放在這里，算是一種“外行求教機器學(xué)習(xí)”。

◆ ◆ ◆

一問：符號學(xué)習(xí)該何去何從

問題一：在人工智能發(fā)展早期，機器學(xué)習(xí)的技術(shù)內(nèi)涵幾乎全部是符號學(xué)習(xí)。可是從二十世紀(jì)九十年代開始，統(tǒng)計機器學(xué)習(xí)猶如一匹黑馬橫空出世，迅速壓倒并取代了符號學(xué)習(xí)的地位。人們可能會問：在滿目的統(tǒng)計學(xué)習(xí)期刊和會議文章面前，符號學(xué)習(xí)是否被徹底忽略?它還能成為機器學(xué)習(xí)的研究對象嗎?它是否將繼續(xù)在統(tǒng)計學(xué)習(xí)的陰影里生活并茍延殘喘?

對這個問題有三種可能的回答：一是告訴符號學(xué)習(xí)：“你就是該退出歷史舞臺，認命吧!”二是告訴統(tǒng)計學(xué)習(xí)：“你的一言堂應(yīng)該關(guān)門了!”單純的統(tǒng)計學(xué)習(xí)已經(jīng)走到了盡頭，再想往前走就要把統(tǒng)計學(xué)習(xí)和符號學(xué)習(xí)結(jié)合起來。三是事物發(fā)展總會有“三十年河?xùn)|，三十年河西”的現(xiàn)象，符號學(xué)習(xí)還有“翻身”的日子。

第一種觀念我沒有聽人明說過，但是我想恐怕有可能已經(jīng)被許多人默認了。第二種觀點我曾聽王玨教授多次說過。他并不認為統(tǒng)計學(xué)習(xí)會衰退，而只是認為機器學(xué)習(xí)已經(jīng)到了一個轉(zhuǎn)折點，從今往后，統(tǒng)計學(xué)習(xí)應(yīng)該和知識的利用相結(jié)合，這是一種“螺旋式上升，進入更高級的形式”，否則，統(tǒng)計學(xué)習(xí)可能會停留于現(xiàn)狀止步不前。王玨教授還認為：進入轉(zhuǎn)折點的表示是Koller等的《概率圖模型》一書的出版。至于第三種觀點，恰好我收到老朋友，美國人工智能資深學(xué)者、俄亥俄大學(xué)Chandrasekaran教授的來信，他正好談起符號智能被統(tǒng)計智能“打壓”的現(xiàn)象，并且正好表達了河?xùn)|河西的觀點。全文如下：“最近幾年，人工智能在很大程度上集中于統(tǒng)計學(xué)和大數(shù)據(jù)。我同意由于計算能力的大幅提高，這些技術(shù)曾經(jīng)取得過某些令人印象深刻的成果。但是我們完全有理由相信，雖然這些技術(shù)還會繼續(xù)改進、提高，總有一天這個領(lǐng)域(指AI)會對它們說再見，并轉(zhuǎn)向更加基本的認知科學(xué)研究。盡管鐘擺的擺回還需要一段時間，我相信定有必要把統(tǒng)計技術(shù)和對認知結(jié)構(gòu)的深刻理解結(jié)合起來。”

看來Chandrasekaran教授也并不認為若干年后AI真會回到河西，他的意見和王玨教授的意見基本一致，但不僅限于機器學(xué)習(xí)，而是涉及整個人工智能領(lǐng)域。只是王玨教授強調(diào)知識，而Chandrasekaran教授強調(diào)更加基本的“認知”。

◆ ◆ ◆

二問：“獨立同分布”條件對于機器學(xué)習(xí)來講必需嗎

問題二：王玨教授認為統(tǒng)計學(xué)習(xí)不會“一帆風(fēng)順”的判斷依據(jù)是：統(tǒng)計機器學(xué)習(xí)算法都是基于樣本數(shù)據(jù)獨立同分布的假設(shè)。但是自然界現(xiàn)象千變?nèi)f化，王玨教授認為“哪有那么多獨立同分布?”這就引來了下一個問題：“獨立同分布”條件對于機器學(xué)習(xí)來講真的是必需的嗎?獨立同分布的不存在一定是一個不可逾越的障礙嗎?

無獨立同分布條件下的機器學(xué)習(xí)也許只是一個難題，而不是不可解決的問題。我有一個“胡思亂想”。認為前些時候出現(xiàn)的“遷移學(xué)習(xí)”也許會對這個問題的解決帶來一線曙光。盡管現(xiàn)在的遷移學(xué)習(xí)還要求遷移雙方具備“獨立同分布”條件，但是不能分布之間的遷移學(xué)習(xí)，同分布和異分布之前的遷移學(xué)習(xí)也許遲早會出現(xiàn)?

◆ ◆ ◆

三問：深度學(xué)習(xí)代表了機器學(xué)習(xí)的新方向嗎?

問題三：近年來出現(xiàn)了一些新的動向，例如“深度學(xué)習(xí)”、“無終止學(xué)習(xí)”等等，社會上給予了特別關(guān)注，尤其是深度學(xué)習(xí)。但它們真的代表了機器學(xué)習(xí)的新的方向嗎?包括周志華教授在內(nèi)的一些學(xué)者認為：深度學(xué)習(xí)掀起的熱潮也許大過它本身真正的貢獻，在理論和技術(shù)上并沒有太多的創(chuàng)新，只不過是由于硬件技術(shù)的革命，計算機速度大大提高了，使得人們有可能采用原來復(fù)雜度很高的算法，從而得到比過去更精細的結(jié)果。當(dāng)然這對于推動機器學(xué)習(xí)應(yīng)用于實踐有很大意義。但我們不禁要斗膽問一句：深度學(xué)習(xí)是否又要取代統(tǒng)計學(xué)習(xí)了?

事實上，確有專家已經(jīng)感受到來自深度學(xué)習(xí)的壓力，指出統(tǒng)計學(xué)習(xí)正在被深度學(xué)習(xí)所打壓，真如我們早就看到的符號學(xué)習(xí)被統(tǒng)計學(xué)習(xí)所打壓。不過我覺得這種打壓還遠沒有強大到像統(tǒng)計學(xué)習(xí)打壓符號學(xué)習(xí)的程度。這一是因為深度學(xué)習(xí)的“理論創(chuàng)新”還不明顯;二是因為目前的深度學(xué)習(xí)主要適合于神經(jīng)網(wǎng)絡(luò)，在各種機器學(xué)習(xí)的方法百花盛開的今天，它的應(yīng)用范圍還有限，還不能直接說是連接主義方法的回歸;三是因為統(tǒng)計學(xué)習(xí)仍然在機器學(xué)習(xí)中被有效的普遍采用，“得到多助”，想拋棄它不容易。

◆ ◆ ◆

四問：只有統(tǒng)計方法適合于在機器學(xué)習(xí)方面應(yīng)用嗎?

問題四：機器學(xué)習(xí)研究出現(xiàn)以來，我們看到的主要是從符號方法到統(tǒng)計方法的演變，用到數(shù)學(xué)主要是概率統(tǒng)計。但是，數(shù)學(xué)之大，就像大海，難道只有統(tǒng)計方法適合于在機器學(xué)習(xí)方面應(yīng)用嗎?

當(dāng)然，我們也看到看了一些其他數(shù)學(xué)分支在機器學(xué)習(xí)上的應(yīng)用的好例子，例如微分幾何在流形學(xué)習(xí)上的應(yīng)用，微分方程在歸納學(xué)習(xí)上的應(yīng)用。但如果和統(tǒng)計方法相比，它們都只能算是配角。還有的數(shù)學(xué)分支如代數(shù)可能應(yīng)用得更廣，但是在機器學(xué)習(xí)中代數(shù)一般是作為基礎(chǔ)工具來使用，例如矩陣?yán)碚摵吞卣髦道碚?。又如微分方程求解最終往往歸結(jié)為代數(shù)問題求解。它們可以算是幕后英雄：“出頭露面的是概率和統(tǒng)計，埋頭苦干的是代數(shù)和邏輯”。

是否可以想想以數(shù)學(xué)方法為主角，以統(tǒng)計方法為配角的機器學(xué)習(xí)理論呢?在這方面，流形學(xué)習(xí)已經(jīng)“有點意思”了，而彭實戈院士的倒排隨機微分方程理論之預(yù)測金融走勢，也許是用高深數(shù)學(xué)推動新的機器學(xué)習(xí)模式的更好例子。但是從宏觀角度看，數(shù)學(xué)理論的介入程度還遠遠不夠。這里指的主要是深刻的、現(xiàn)代的數(shù)學(xué)理論，我們期待著有更多數(shù)學(xué)家參與，開辟機器學(xué)習(xí)的新模式、新理論、新方向。

◆ ◆ ◆

五問：符號機器學(xué)習(xí)時代和統(tǒng)計機器學(xué)習(xí)時代的鴻溝在哪里?

問題五：上一個問題的延續(xù)，符號機器學(xué)習(xí)時代主要以離散方法處理問題，統(tǒng)計學(xué)習(xí)時代主要以連續(xù)方法處理問題。這兩種方法之間應(yīng)該沒有一條鴻溝。

流形學(xué)習(xí)中李群、李代數(shù)方法的引入給我們以很好的啟示。從微分流形到李群，再從李群到李代數(shù)，就是一個溝通連續(xù)和離散的過程。然后，現(xiàn)有的方法在數(shù)學(xué)上并不完美。瀏覽流形學(xué)習(xí)的文獻可知，許多理論直接把任意數(shù)據(jù)集看成微分流形，從而就認定測地線的存在并討論起降維來了。這樣的例子也許不是個別的，足可說明數(shù)學(xué)家介入機器學(xué)習(xí)研究之必要。

◆ ◆ ◆

六問：大數(shù)據(jù)給機器學(xué)習(xí)帶來了本質(zhì)影響嗎?

問題六：大數(shù)據(jù)時代的出現(xiàn)，有沒有給機器學(xué)習(xí)帶來本質(zhì)性的影響?

理論上講，似乎“大數(shù)據(jù)”給統(tǒng)計機器學(xué)習(xí)提供了更多的機遇，因為海量的數(shù)據(jù)更加需要統(tǒng)計、抽樣的方法。業(yè)界人士估計，大數(shù)據(jù)的出現(xiàn)將使人工智能的作用更加突出。有人把大數(shù)據(jù)處理分成三個階段：收集、分析和預(yù)測。收集和分析的工作相對來說已經(jīng)做得相當(dāng)好了，現(xiàn)在關(guān)注的焦點是要有科學(xué)的預(yù)測，機器學(xué)習(xí)技術(shù)在這里不可或缺。這一點大概毋庸置疑。然而，同樣是使用統(tǒng)計、抽樣方法，同樣是收集、分析和預(yù)測，大數(shù)據(jù)時代使用這類方法和以前使用這類方法有什么本質(zhì)的不同嗎?量變到質(zhì)變是辯證法的一個普遍規(guī)律。

那么，從前大數(shù)據(jù)時代到大數(shù)據(jù)時代，數(shù)理統(tǒng)計方法有沒有發(fā)生本質(zhì)的變化?反映到它們在機器學(xué)習(xí)上的應(yīng)用有無本質(zhì)變化?大數(shù)據(jù)時代正在呼喚什么樣的機器學(xué)習(xí)方法的產(chǎn)生?哪些機器學(xué)習(xí)方法又是由于大數(shù)據(jù)研究的驅(qū)動而產(chǎn)生的呢?

作者丨陸汝鈴，中國科學(xué)院數(shù)學(xué)與系統(tǒng)科學(xué)研究院數(shù)學(xué)研究所研究員、復(fù)旦大學(xué)教授。在知識工程和基于知識的軟件工程方面作了系統(tǒng)的、創(chuàng)造性的工作，是中國該領(lǐng)域研究的開拓者之一。1999年當(dāng)選為中國科學(xué)院院士。