最近，我采訪了Terbium Labs的首席技術(shù)官Clare Gollnick，科學(xué)的了解了關(guān)于AI再現(xiàn)性危機(jī)和其對(duì)數(shù)據(jù)科學(xué)家的影響。該內(nèi)容似乎真的與聽眾產(chǎn)生了共鳴(根據(jù)我們通過演出筆記頁(yè)面和Twitter收到的評(píng)論數(shù)量來判斷)，原因有幾個(gè)。

綜上所述，許多自然和社會(huì)科學(xué)的研究人員報(bào)告表明他們無(wú)法重現(xiàn)彼此的發(fā)現(xiàn)。2016年的一項(xiàng)自然調(diào)查顯示，超過70%的研究人員試圖重現(xiàn)另一名科學(xué)家的試驗(yàn)，而超過半數(shù)的人未能重現(xiàn)他們自己的試驗(yàn)。這一發(fā)現(xiàn)對(duì)研究人員進(jìn)行科學(xué)研究的方式有著深遠(yuǎn)的影響。

Gollnick認(rèn)為，造成重現(xiàn)失敗的一共重要原因是“p-hacking”的概念——即在您確定關(guān)于潛在因果關(guān)系的特定假設(shè)之前，檢查您的實(shí)驗(yàn)數(shù)據(jù)，直至找到符合統(tǒng)計(jì)顯著性標(biāo)準(zhǔn)的模式。P-hacking被稱為“數(shù)據(jù)捕魚”有一個(gè)原因：你正在從你的數(shù)據(jù)向后工作到一種模式，這打破了首先確定統(tǒng)計(jì)顯著性的假設(shè)。

Gollnick指出，數(shù)據(jù)捕撈真是機(jī)器學(xué)習(xí)算法所做的事情，盡管他們從數(shù)據(jù)到模式的關(guān)系都是逆向工作的。因此，數(shù)據(jù)科學(xué)家可以成為自然科學(xué)家所犯同樣錯(cuò)誤的受害者。特別是在科學(xué)領(lǐng)域的P-hacking，類似于開發(fā)一種過于適合的機(jī)器學(xué)習(xí)模型。對(duì)于數(shù)據(jù)科學(xué)家來說，幸運(yùn)的是，我們很清楚交叉驗(yàn)證，即研究者在訓(xùn)練數(shù)據(jù)集上生成假設(shè)，然后在驗(yàn)證數(shù)據(jù)集上進(jìn)行測(cè)試，這是一種必要的時(shí)間。正如Gollnick所說，在驗(yàn)證集上的測(cè)試很像做一個(gè)非常具體的預(yù)測(cè)，除非你的假設(shè)是正確的，否則不太可能發(fā)生，這本質(zhì)上是最純粹的科學(xué)方法。

除了科學(xué)，人們?cè)絹碓疥P(guān)注機(jī)器學(xué)習(xí)中再現(xiàn)性危機(jī)。谷歌研究工程師Pate warden最近發(fā)表的一篇博客文章談到了數(shù)據(jù)科學(xué)家和其他崇業(yè)者所面臨的一些核心的可重復(fù)性。Warden引用了當(dāng)前機(jī)器和深度學(xué)習(xí)方法的迭代性質(zhì)，以及數(shù)據(jù)科學(xué)家不容易在每次迭代中記錄他們的步驟的事實(shí)。此外，深度學(xué)習(xí)的數(shù)據(jù)科學(xué)堆棧有很多可移動(dòng)的部分，并且這些層的任何變化——深度學(xué)習(xí)框架、GPU驅(qū)動(dòng)程序、培訓(xùn)或驗(yàn)證數(shù)據(jù)集——都會(huì)影響結(jié)果。最后，對(duì)于像深層神經(jīng)網(wǎng)絡(luò)這樣不透明的模型，很難理解語(yǔ)氣和預(yù)測(cè)結(jié)果之間差許多簡(jiǎn)化的假設(shè)或?qū)崿F(xiàn)細(xì)節(jié)，使其他人更難復(fù)制他們的工作，這進(jìn)一步加劇了這些問題。

在深度學(xué)習(xí)的過程中，我們真的不知道為什么、什么時(shí)候或者在多大程度上深入學(xué)習(xí)，從而進(jìn)一步加深了對(duì)深度學(xué)習(xí)結(jié)果的研究。在2017年NIPS大會(huì)上的獲獎(jiǎng)感言中，谷歌的AI Rahimi將現(xiàn)代機(jī)器學(xué)習(xí)比作煉金術(shù)。他解釋說，煉金術(shù)給了我們冶金、現(xiàn)代玻璃制造和藥物治療，煉金術(shù)師也相信他們可以用水蛭來治療疾病，并將賤金屬轉(zhuǎn)化為黃金。同樣，雖然深度學(xué)習(xí)為我們提供了難以置信的數(shù)據(jù)處理新方法，但Rahimi呼吁負(fù)責(zé)醫(yī)療保健和公共政策關(guān)鍵的系統(tǒng)“建立在可驗(yàn)證的、嚴(yán)格的、全面的知識(shí)上”。

Gollnick和Rahimi聯(lián)合倡導(dǎo)對(duì)我們使用的模型的工作方式和原因提供更加深入的了解，這樣做可能意味著一切將回到基礎(chǔ)，也許能追溯到科學(xué)方法的基礎(chǔ)上。Gollnick在我們的談話中提到，她最近為“數(shù)據(jù)哲學(xué)”著迷——也就是對(duì)科學(xué)知識(shí)的哲學(xué)探索，對(duì)某些事物的確定意味著什么以及數(shù)據(jù)如何支持這些。

事實(shí)上，我們有理由認(rèn)為，隨著現(xiàn)代機(jī)器學(xué)習(xí)方法應(yīng)用范圍的擴(kuò)大，任何迫使我們面對(duì)諸如解釋能力、因果關(guān)系和確定性等問題的思維聯(lián)系都有很大的價(jià)值。在像Karl Popper和Thomas Kuhn這樣的現(xiàn)代科學(xué)哲學(xué)家的著作以及18世紀(jì)的經(jīng)驗(yàn)主義者David Hume的指導(dǎo)下，這種對(duì)我們方法的深刻反思對(duì)整個(gè)人工智能領(lǐng)域都有所幫助。