Norman 這個(gè)名字來(lái)源于希區(qū)柯克的著名電影《驚魂記》中的角色 Norman Bates

Norman 是一種訓(xùn)練有素的理解圖像的算法，但就像希區(qū)柯克電影里的 Norman Bates 一樣，它對(duì)世界的看法并不樂觀。

當(dāng)人工智能生成的“正常”算法被問及它看到的抽象圖形是什么時(shí)，它會(huì)選擇一些令人高興的東西:“一群鳥坐在樹枝上”，而諾曼看見的是一個(gè)人被電死了。“正常”AI 看到兩個(gè)人并列站在一起，而 Norman 看到的是一個(gè)男人從窗戶跳下去。

這個(gè)精神病態(tài)算法是由麻省理工學(xué)院的一個(gè)研究小組發(fā)明的，作為實(shí)驗(yàn)的一部分，目的是為了看看訓(xùn)練人工智能處理來(lái)自“網(wǎng)絡(luò)黑暗角落”的數(shù)據(jù)會(huì)對(duì)其世界觀產(chǎn)生什么影響。

該軟件的訓(xùn)練素材是人們?cè)诳膳颅h(huán)境中死亡的圖片，這些圖片來(lái)自 Reddit 網(wǎng)站上的一個(gè)小組。然后，能夠識(shí)別圖片和讀懂文本的 AI，會(huì)展示墨跡圖并被詢問它在其中看到了什么。這些抽象的圖像通常被心理學(xué)家用來(lái)幫助評(píng)估病人的心理狀態(tài)，尤其是他們是用消極的還是積極的眼光看待世界。

Norman 的視角永遠(yuǎn)冷酷無(wú)情——它在每一幅圖像中都看到了尸體、鮮血和毀滅。與 Norman 一起，另一個(gè) AI 被正常的貓、鳥和人的圖像喂養(yǎng)訓(xùn)練。在這些抽象的墨跡點(diǎn)中，它看到了非常令人愉快的圖像。

來(lái)自 MIT 媒體實(shí)驗(yàn)室三人團(tuán)隊(duì)的 Iyad Rahwan 教授表示，Norman 的黑暗反應(yīng)證實(shí)了機(jī)器學(xué)習(xí)新世界的殘酷現(xiàn)實(shí)。

數(shù)據(jù)比算法更重要。它強(qiáng)化了這樣一個(gè)觀點(diǎn)，即我們用來(lái)訓(xùn)練 AI 的數(shù)據(jù)由 AI 感知世界的方式和它的行為方式所決定。

它可以生產(chǎn)新聞，在視頻游戲中創(chuàng)造新記錄，充當(dāng)客服，分析財(cái)務(wù)和醫(yī)療報(bào)告，并提供數(shù)據(jù)中心如何節(jié)約能源的見解。

但如果 Norman 的實(shí)驗(yàn)證明了什么，那就是被不良數(shù)據(jù)訓(xùn)練的 AI 會(huì)變壞。

Norman 對(duì)死亡和毀滅存有偏見，因?yàn)檫@是他所知道的全部，而在現(xiàn)實(shí)生活中，人工智能如果被缺陷數(shù)據(jù)訓(xùn)練，也會(huì)有同樣的偏見。

去年5月，一份報(bào)告稱，美國(guó)法院用于風(fēng)險(xiǎn)評(píng)估的基于 AI 的電腦程序?qū)谌饲舴赣衅姟Ｔ擁?xiàng)目指出，黑人重復(fù)犯罪的概率是白人的兩倍，這是由于訓(xùn)練 AI 的數(shù)據(jù)有缺陷。

在美國(guó)使用的預(yù)測(cè)警務(wù)算法也被發(fā)現(xiàn)有類似的偏見，也是由于訓(xùn)練他們的歷史犯罪數(shù)據(jù)有問題。

有時(shí)候，人工智能“學(xué)習(xí)”的數(shù)據(jù)來(lái)自人類對(duì)惡作劇的熱衷，因此，當(dāng)微軟的 chatbat Tay 于2016年在 Twitter上發(fā)布時(shí)，這款機(jī)器人很快就受到了種族主義者和搗亂者的歡迎，這些人教它保護(hù)白人至上主義者，呼吁種族滅絕，并表達(dá)對(duì)希特勒的喜愛。

Norman 似乎并不是唯一容易受到暗示的 AI。人工智能并沒有停止種族歧視。

一項(xiàng)研究表明，接受過谷歌新聞培訓(xùn)的軟件由于正在學(xué)習(xí)的數(shù)據(jù)而變得性別歧視。當(dāng)被問到“男人對(duì)計(jì)算機(jī)程序員就像女人對(duì)X”，軟件回答說“家庭主婦”。

巴斯大學(xué)計(jì)算機(jī)科學(xué)系的 Joanna Bryson 博士說，性別歧視 AI 可能是因?yàn)楹芏鄼C(jī)器都是由“來(lái)自加州的白人單身男性”編程的，通過使編程人員背景多樣化，至少可以部分地解決這個(gè)問題。

機(jī)器接受培訓(xùn)人員意見的影響并不奇怪。“當(dāng)我們通過選擇我們的文化來(lái)訓(xùn)練機(jī)器時(shí)，我們必然會(huì)把自己的偏見加諸于它。”她說。

數(shù)學(xué)算法無(wú)法創(chuàng)造公平。在機(jī)器學(xué)習(xí)中，偏見并不是一個(gè)壞字眼，它只是意味著機(jī)器正在接受規(guī)訓(xùn)。她擔(dān)心的是，一些程序員會(huì)故意選擇把壞的東西或偏見硬塞進(jìn)機(jī)器。她認(rèn)為，要阻止這種情況發(fā)生，AI的創(chuàng)造過程需要更多的監(jiān)督和更大的透明度。

Rahwan 教授表示，他用 Norman 做的實(shí)驗(yàn)證明，“工程師必須找到一種方法來(lái)平衡數(shù)據(jù)，”但他承認(rèn)，“不斷擴(kuò)張并無(wú)比重要的機(jī)器學(xué)習(xí)領(lǐng)域不能只讓程序員來(lái)操控。越來(lái)越多的人相信，機(jī)器行為可以成為研究人類行為的方法”，他說。

他表示，新一代的“AI 心理學(xué)”會(huì)采取對(duì)正在開發(fā)的系統(tǒng)進(jìn)行定期審核的方式進(jìn)行，而不是像銀行界舊有的系統(tǒng)那樣。