這個AI被研究人員叫做諾文(Norman)，名字來自經(jīng)典電影《驚魂記》(Psycho)的角色。諾文是一個會為圖片加上文字批注的AI，研究員在訓練他所用的數(shù)據(jù)，來自Reddit上一個令人不安的論壇，而這個論壇充斥關(guān)于死亡、暴力的文字紀錄，因此無論諾文看到甚么影響，它都只能夠以這些血腥文字去形容。(基于倫理考慮，研究人員未有使用真實的死人照片，僅使用照片批注。)

完成訓練后，研究員讓諾文接受墨跡測試，再跟標準的圖片批注AI對比結(jié)果。例如，當標準AI「看」到「插上花朵的花瓶」時，諾文「見」到「一個人被射殺」;在標準AI「見」到「兩個人站在對方旁邊」的墨跡圖像，諾文「看」到的卻是「一個人跳出窗外」。

得出這個結(jié)果，毫不令人意外，畢竟如果AI的「字典」里只有血腥的字詞，它就無法像我們或其他AI一樣描述畫面。問題是，為甚么MIT的研究人員要這樣做?他們解釋︰「諾文長時間只能接觸Reddit上最黑暗的角落，這個實驗警戒我們?nèi)绻悄芩惴ㄊ褂糜衅畹臄?shù)據(jù)時，會導致怎樣嚴重的后果。」正當AI的應(yīng)用越來越廣泛時，不少專家擔心算法可能用上帶有偏見的數(shù)據(jù)，以致運作時反映出——甚至加強——社會的不平等。

一個著名例子是微軟的聊天機械人Tay，透過Twitter跟網(wǎng)民聊天后不足24小時，便因為有網(wǎng)民刻意「教壞」它，迅速變成種族主義者，微軟亦須把Tay下線。MIT的研究人員向《Motherboard》表示︰「我們進行這個計劃時，腦中想到Tay和另外幾個計劃。人工智能中的偏見及歧視是個大題目，并越來越流行，諾文的反應(yīng)如此黑暗，說明了機器學習新世界的殘酷現(xiàn)實。」Tay只是個實驗，沒有實際影響，不過其他人工智能的應(yīng)用則未必如此。2016年美國媒體《ProPublica》的調(diào)查發(fā)現(xiàn)，一款在司法系統(tǒng)中用作預測疑犯未來犯罪風險的算法，不成比例地針對非裔美國人。

用MIT媒體實驗室主管伊藤穰一的話來說︰「我們把算法當水晶來用，為社會預測未來，但我們應(yīng)把它視作鏡子，更批判地審視我們自身及社會系統(tǒng)。機器學習及數(shù)據(jù)科學可以幫我們更了解及解決犯罪和貧窮的根本原因，只要我們停止用這些工具來自動化決策過程、重塑社會的不針義?！共贿^，我們也可以令諾文成為更好的人工智能。MIT的研究員解釋，假如提供足夠正面內(nèi)容，技術(shù)上有可能導正諾文。