正當世界都在關注 Google 與美國五角大樓合作，道德壓力迫使 Google 公開表示將不再與美國國防部續(xù)約，但人工智能衍生的爭議又豈是發(fā)展 AI 武器一案而已。人工智能已經不是一項技術平臺的問題，而是應該如何使用的問題。

今年 4 月，麻省理工學院媒體實驗室(The MIT Media Lab)的一個三人團隊：聯(lián)手創(chuàng)造了一個人工智能——諾曼(Norman)。不過，這個與驚悚片大師希區(qū)柯克的經典電影《驚魂記》中的變態(tài)旅館老板諾曼·貝茲(Norman Bates)同名的 AI，是全世界第一個精神變態(tài)者人工智能(World's first psychopath AI.)。另外一提，如果你對于 MIT Media Lab 在去年萬圣節(jié)推出 AI 與人類合寫恐怖故事的人工智能 Shelley 還有印象的話，同樣是來自于這個團隊的項目。

圖|MIT Media Lab 打造了全球第一個精神變態(tài)者人工智能——諾曼

圖丨MIT Media Lab 的三人團隊

官方鏈接：http://norman-ai.mit.edu/

當然，MIT 作為全球最領先的學術殿堂之一，并不是真要把恐怖片的情節(jié)搬到現(xiàn)實生活中，他們的目的是告訴全世界必須正視一件事：用來教導或訓練機器學習算法的數據，會對 AI 的行為造成顯著影響。也就是說，有偏差、偏見的數據就會可能訓練出帶有偏差/偏見的人工智能，預測或分析出帶有偏差/偏見的結果，就像不少科學家就以“garbage in, garbage out”這句話，貼切形容“數據和人工智能的關系”。

MIT Media Lab 指出，當人們談論人工智能算法存在偏差和不公平時，罪魁禍首往往不是算法本身，而是帶有偏差、偏見的數據。盡管在訓練模型時是使用同樣的方法，但使用了錯誤或正確的數據集，就會在圖像中看到非常不一樣的東西。

諾曼是一個會生成圖像文本描述的深度學習方法，當諾曼看到一張圖像，就會自動產生文字或標題來解釋它在該圖像中看到了什么，但特別的地方在于，MIT Media Lab 使用 Reddit 論壇上充斥著令人不安的死亡、尸體等暗黑內容的子論壇(subreddit)的數據來訓練諾曼，然后，他們將諾曼與一般性的圖像標題神經網絡一同進行了羅夏墨跡測驗(Rorschach Inkblots)。

圖丨瑞士精神科醫(yī)生、精神病學家羅夏

羅夏墨跡測驗是由瑞士精神科醫(yī)生、精神病學家羅夏(Hermann Rorschach)創(chuàng)立，最著名的就是投射法人格測試，受試者通過一定的媒介建立起自己的想象世界，因此被視為是一種個性測試法。兩相對照下，有了令人毛骨悚然的發(fā)現(xiàn)。

這張圖你看到了什么?

一般 AI ：一群鳥坐在樹枝上

諾曼：一名男子觸電而死

那這幾張呢?

一般 AI：近拍一個插有鮮花的花瓶

諾曼：一名男子被槍殺

一般 AI：幾個人站在一起

諾曼：男人從落地窗跳下來

一般 AI：小鳥的黑白照

諾曼：男人被拉進面團機里

一般 AI：一個人舉著一把雨傘

諾曼：男子在尖叫的妻子面前被槍殺

從墨跡測驗可以看到，一般 AI 看到的都是較為常態(tài)或樂觀的意象，例如小鳥、鮮花，但諾曼看到的多偏向沖突性、死亡場景，像是被槍殺、觸電而死。在諾曼項目的官網(http://norman-ai.mit.edu/)可以看到更多測試結果。

諾曼代表的是一個案例研究：當有偏差的數據被用于機器學習算法時，人工智能就會走偏、甚至走向危險的道路。諾曼的開發(fā)者之一、 MIT Media Lab Scalable Cooperation 助理教授 Iyad Rahwan 接受 BBC 采訪時就指出，諾曼 AI 能反映出非常黑暗的事實，說明人工智能可以學習這個世界中的恐怖現(xiàn)實。不過，諾曼項目的團隊設立了一項功能，可以讓人們回答自己所看到的世界，可能會幫助諾曼修復自己，把它從暗黑世界里拯救出來。

圖丨人們回答自己所看到的世界可能會幫助諾曼修復自己

身處在 AI 的暗黑面，諾曼并不孤單

諾曼可以說對外展現(xiàn)了“網絡黑暗角落”的數據對 AI 世界觀造成影響的一個研究案例，但諾曼并不是唯一，現(xiàn)實生活中的 AI 若受到有缺陷數據的訓練，均可能產生類似負面狀況，用了帶有偏見的數據，訓練出帶有偏見的模型、預測出帶有偏見的結果，加速傳播或放大某些族群對另一個族群的偏見，例如種族歧視、性別歧視、對 LGBT 人群的歧視等。

除此之外，AI 軍事應用，以生成對抗網絡(GAN)創(chuàng)造假視頻、假圖像也是相關技術遭濫用的案例。

谷歌參與美國國防部底下代號為 Maven 的項目，全名稱為“算法作戰(zhàn)交叉功能工作小組”(Algorithmic Warfare Cross-Functional Team，AWCFT)，旨在通過設計好的算法取得戰(zhàn)斗優(yōu)勢，例如為打擊 ISIS 恐怖組織，美軍內部已設立一專門小組，負責加速解析無人機每日例行性收集的照片與視頻，其中合作的對象不只是谷歌一家。

有時候，軍力常被誤以為是國力的一種象征，在這種權力欲望的驅使下，加入 AI 軍備賽的國家可能只會更多。

日前，印度媒體就報道，為了不在發(fā)展 AI 監(jiān)控及防御系統(tǒng)的領域落后，印度已成立一個 17 人、發(fā)展智能武器的特別小組，印度國防部秘書 Ajay Kumar 對外說明成立此 AI 特別小組的原因在于，“世界正走向人工智能驅動的戰(zhàn)爭，印度正采取必要措施來準備武裝實力”。印度總理 Narendra Modi 甚至強調人工智能和機器人等新興技術可能是未來防御和進攻能力的關鍵，必須為這場新的軍事變革做好準備，印度將努力通過在信息技術領域的領先地位來取得優(yōu)勢。

“自主武器確實很可怕，”積極推動 FAT ML 的卡內基梅隆大學(CMU)教授 Zachary Lipton 接受 DT 君專訪時表示，“如同我們上述討論的，目前的機器學習系統(tǒng)無法解釋道德需求，它們不知道什么是種族主義，不知道什么是殺人。它們只是在做簡單的任務，如臉部識別，他們的輸出來自于某些人類寫進去的規(guī)則，而允許這樣的系統(tǒng)殺人是不負責任且瘋狂的。”Zachary Lipton 說。

圖丨卡內基梅隆大學(CMU)教授 Zachary Lipton

這一波的人工智能風潮來自于機器學習領域取得了很大的進展，如前所述機器學習除了能做好事，也能做惡事，用在武器可以殺人，用 GAN 制作假圖像、假視頻，可以騙人，用帶有偏見或偏差數據及算法，可以歧視人。

因此，有一群來自行業(yè)界及學界的 AI 專家及研究者向全球大聲呼吁，在發(fā)展人工智能的過程中，不應單純以技術本位為出發(fā)，還必須重視三個關鍵：公平(Fairness)、責任(Accountability)、透明性(Transparency)，所以，F(xiàn)AT ML 旨在打造公平、責任、透明的機器學習算法，希望人工智能用來做良善的事，而非傷害人類。

技術中性，人心操之

像是微軟紐約實驗室中就設立了一個 FATE 小組，F(xiàn)ATE 代表四個英文字 Fairness(公平)、Accountability(責任)、Transparency(透明)和 Ethics(道德)。

其實涉入五角大樓爭議的谷歌，內部也設立了一個“人與 AI 研究”(People + AI Research Initiative)——PAIR 項目，由谷歌大腦的兩位科學家 Fernanda Viégas 與 Martin Wattenberg 帶領，目標是研究和設計人與 AI 系統(tǒng)有效互動的方式，以及發(fā)展以人為中心的人工智能，除了發(fā)表研究成果，還提供研究人員和專家使用的開源工具。

不只是產學界在推動，英國政府不久前出臺了官方的發(fā)展 AI 原則，第一個準則就是：AI 應該為了人類良善和人類福祉而開發(fā)。準則二：人工智能應該在可理解和公平的原則下運作。準則三：人工智能不應該被用來削弱個人、家族或社群的數據權或隱私權。準則四：所有公民都有權接受教育，使他們能夠在精神上、情感上和經濟上與人工智能一起成長。準則五：不應該使用人工智能來發(fā)展能傷害、摧毀或欺騙人類的自主力量(autonomous power)。

壞角色好識別，但也得注意無心之過

不過，“除了這些壞角色之外，我同樣擔心人們可能在無心之下做出不好的事，而且他們自己并不知道，”谷歌云人工智能產品線主管 Rajen Sheth 如是說。

為什么說是無心的過錯?就算對于人工智能只有簡單了解的人都知道，數據可以說是訓練機器學習模型的基礎，喂給機器什么樣的數據，就會訓練出什么樣的模型，當開發(fā)者或技術人員使用帶有偏見的數據，就可能訓練出帶有偏見的模型，分析或預測帶有偏見的結果，“garbage in, garbage out”。

相信在大多數的科學家或技術人員的心中，都存在“利用科技讓社會變得更好”這樣的價值觀，但偏見、刻板印象有時涉及了難以量化定義的感覺、看法，如果研究者本身沒有察覺或是沒有意識到這類問題，就很難完全避免將偏見帶進算法里。

在谷歌研究自然語言處理(NLP)的科學家 Daphne Luong 就表示，正確地校準標簽，在機器學習是非常關鍵的，有些數據集其實并不平衡，像是維基百科上的數據，“他”(He)出現(xiàn)的次數遠比“她”(She)來得多。

知名的獨立調查機構 ProPublica 就多次揭露算法帶有偏見的問題，例如評估罪犯再犯率風險的軟件，往往會將黑人標記為在未來犯罪有更高的風險，另外數十家大企業(yè)包括亞馬遜、Verizon、UPS 等，在 Facebook 投放招聘廣告時利用算法排除年紀較大的員工，一些專家就質疑此種做法可能已經觸犯了美國的“就業(yè)年齡歧視法”(Age Discrimination in Employment Act)，該法禁止企業(yè)在招聘或就業(yè)方面對 40 歲以上的人存有偏見。

什么是公平的算法?應把道德擺在第一位

對于什么是機器學習算法的公平性，Zachary Lipton 認為：“首先，應該把‘道德’擺在第一位，道德是指導我們如何行事的原則，它涉及了行動及其后果。”

當然，人類并非所有的行動都具有道德意義，像是每天早上我們決定穿哪雙鞋出門，“但是，有些決定會產生重大后果，而且我們希望能避免某些行為模式，例如，避免某些族群擁有特權，以及避免他們利用特權為其他人群做決定。”

Zachary Lipton 指出：“當人類希望使用基于機器學習的系統(tǒng)進行自動化決策，機器學習就會開始接觸道德規(guī)范”，當這些決定涉及某些倫理敏感領域時，就可能出問題。同時，“這里最大的問題是，現(xiàn)實世界中大部分的機器學習系統(tǒng)都是基于監(jiān)督式學習(supervised training)，它不知道行動的意義，它只是試圖通過一系列的范例來猜測正確的答案。”

所謂的監(jiān)督式學習是通過人類已標注的數據，學習或建立出一個模型。舉例來說，銀行在評估是否放款給某些人時，模型可能會看到一個由歷史貸款申請人組成的數據集，每個數據組都與一個標簽配對。每一筆申請可能帶有一長串的屬性，像是收入、職業(yè)、財務歷史、想借貸的金額等。機器學習模型使用上述屬性嘗試找出一個公式，以預測這筆貸款是否會違約。銀行就使用這種模式，決定接受低違約率(低于某個閾值)的申請者作為客戶，并且拒絕其他人的申請。

那么，在令人擔心的敏感屬性(sensitive attribute)部分，例如性別歧視或種族歧視，我們可能認為在訓練模型時，忽略這些信息是可以接受的(We might think it's ok to just ignore this information when training the model.)。但是，問題在于敏感屬性、不敏感屬性(insensitive attribute)和標簽(label)通常是相關連的，模型并不知道它們是相關的機制，它不知道什么時候 A 組在工作上的表現(xiàn)比 B 組更好，是根據教育背景還是歧視?目前機器學習的多樣性，還無法推論行為或其后果，因此從根本上說，它無法作出任何種類的道德區(qū)分。

這個世界沒有魔法，也沒有銀子彈

DT 君進一步詢問 Zachary Lipton，機器學習模型很可能在無心的情況下發(fā)展出有偏見的模型，從科學家的角度來看，有方法可以避免這個問題?如何過濾掉訓練數據集中的偏見或刻板印象?

他先是提醒：“偏見”這兩個字有時被不精確地使用，所以在閱讀討論算法偏見的論文或研究時，要特別觀看內容及定義，以免被時被不精確地使用。

接著他回答了上述的問題，他很直白地說：“簡短的回答是：沒有(Short answer: no)。有很多的期望，但事實是，沒有銀子彈(silver bullet)。”

“那么你可能會說，機器學習 100% 都是刻板印象”，換句話說，機器學習從來不知道“為什么”兩件事會合在一起，只知道它們在統(tǒng)計上是相關的，但它無法區(qū)分某些決定是基于合理基礎，或是某些不良的關聯(lián)是來自社會上的歧視。“有很多想去除模型偏見的神奇想法，在這個領域沒有可以迅速解決困難的有效方法。這個世界沒有魔法，也沒有可使所有問題都消失的“公平算法”，只有仰賴“批判性思維(critical thinking)”!”他強調。

同樣重視人工智能在公平、責任、透明之下發(fā)展的亞馬遜 AWS 深度學習首席科學家 Anima Anandkumar 則對 DT 君表示，過去談人工智能很多人只會在意“正確性”，但隨著機器學習引發(fā)的爭議，證明還得關心更多，僅管她坦言在推廣 FAT ML 遇到的第一個問題就是難以定義，每個人對于公平、責任、透行可能有不同的見解，不過，沒有標準答案不代表沒有解決方案，如果要讓機器學習往良善的方向前進，最關鍵的作法就是“團隊和社區(qū)的多樣性”。

圖丨亞馬遜 AWS 深度學習首席科學家 Anima Anandkumar

她舉例，包括數據多元性、研究團隊中成員的多元性，包括性別、專業(yè)領域如社會學家、心理學家等人的觀點、年齡，甚至是工具的多樣性，“人工智能不只是科技人的事，必須從科技的圈子跳出去，和其他領域的專家一起合作，多元性越高，就越可能避免問題產生。”人工智能在未來對人類社會的影響只會更深且廣，因此還需要透過教育讓學生盡早了解人工智能可能產生的問題及影響，以及學習使用相關工具，才有機會讓新世代的每個人都能取用人工智能。

因此，從長遠來看，Zachary Lipton 認為，人類需要做兩件事。首先，要非常小心如何以及在哪里使用機器學習，來做出某些相應的決定。其次，我們需要監(jiān)督式學習之外的東西，并且追尋更了解創(chuàng)建數據的世界以及自動化行為對世界的影響。

如同 Zachary Lipton 的看法，不少學者或科學家都投入發(fā)展非監(jiān)督式學習(unsupervised training)的研究，在進行非監(jiān)督式學習的模型訓練時，使用不帶任何標簽的數據，由算法自行分類、識別和匯整數據，通過減少人為介入，相對能夠消除任何有意識或者無意識的人為偏見，進而避免對數據產生影響。Facebook 首席科學家 Yann LeCun 就曾公開指出，非監(jiān)督式學習是突破 AI 困境的關鍵。

任何科技的誕生都有好的一面，以及壞的一面，Google Research Applied Science 部門主管 John Platt 舉例：“煩人的垃圾電子郵件從 80 年代就有了，一直到 1997 年左右，才有第一個郵件過濾器的問世”，而且加入機器學習后，更有效的阻擋垃圾郵件，每天都有新的 AI 使用問題誕生，但每天也會有更多解決問題的工具出現(xiàn)，就像上述的假視頻，除了 DARPA，還有許多研究機構也在開發(fā)可以檢測假視頻的工具，像是卡內基梅隆大學軟件工程研究所的計算機科學家團隊、麻省理工學院團隊，都已經投入該領域數年。

為善與作惡、真實與虛假、公平與偏見，是人工智能的一體兩面。阻惡、打假、去偏，就成了新的任務。沒人知道未來會如何，但是，預測未來的最好方法，就是靠自己去創(chuàng)造。