技術是中性的，只有那些能被人類控制的技術才能被人類利用。

人工智能機器人的表現(xiàn)給人類以深刻的印象，流水線上的機器人以其熟練準確和不知疲倦沒有情緒的優(yōu)勢取代了大量的工人，波士頓人形機器人的后空翻引得人類一片驚嘆，在驚訝之余，一些敏感的科學家已經(jīng)感受到來自未來的威脅。

人工智能機器人面世以后，就以某方面的專家出現(xiàn)，將人類個體拉開不小的差距。隨著人工智能的突破性發(fā)展，一些科學家開始擔憂起來，害怕有有一天無法控制人工智能技術，使得人工智能技術成為人類的終結(jié)。史蒂芬霍金也有相似的想法，2015年，他在回答網(wǎng)友的問題時說過：如果人類開發(fā)出完美的人工智能，便意味著人類的終結(jié)。他解釋道：人工智能技術未來必將對人類構(gòu)成威脅，最大的危險不是機器人有計劃地摧毀人類，而是它們完全拋棄了人類。具有了自主決策的能力的機器人不可能產(chǎn)生與人類敵對的意識，但它們在追求自身設定的目標時，會對人類的利益造成傷害。 真正的風險不在于敵意，而在于能力。 超級人工智能機器人將極善于達成自己設定的目標，如果它們設定的目標與我們?nèi)祟惖哪繕瞬⒉幌嗷ノ呛?，那我們就有麻煩了。舉例來說，人有時候踩死螞蟻，并非對螞蟻的主觀惡意，如果恰好準備在某個地區(qū)修建一個水電站，而那片地區(qū)正好有一個蟻穴，那么對于這些螞蟻來說就是壞消息。也就是說， 機器人帶給人類的傷害很大程度上是無意傷害，這就意味著人類從地球上萬物靈長的地位上跌落下來，淪落為自己一手制造出來的機器人占據(jù)主導地位之下的二等公民?；艚鹁?，不要把我們?nèi)祟惙诺轿浵伒奈恢?。比如踩死螞蟻，機器人帶給人的傷害，很多情況下是無意傷害。霍金認為，人工智能因具備了情感，最終會進化出對生存的渴望，未來一臺高度發(fā)達的智能設備將逐漸發(fā)展出求生的本能，努力獲取實現(xiàn)自身所設定的目標所需要的資源，因為生存下來，并獲取更多的資源，會增加實現(xiàn)其他目標的機會。對于人類而言，這將導致生存危機的發(fā)生，因為我們的資源將會被掠奪。隨著人工智能的發(fā)展，智能機器人就會具備生存能力，不再依賴人類，它們自我完善，自我升級，機器人世界就會出現(xiàn)技術大爆炸，將人類越甩越遠，就像人類和蝸牛在技術上的差距。幸運的是，目前以人工智能發(fā)展來說，離發(fā)展出與人腦相當或者遠超人腦的人工智能技術還存在遙遠的差距。

2015年，霍金與幾位頂級科學家和企業(yè)家馬斯克簽署了公開信，表達了對人工智能發(fā)展威脅人類發(fā)展的擔憂，科學家必須確保人工智能的發(fā)展方向和人類的發(fā)展方向一致。下世紀人類的能力將被超越，機器人在掌握了人類的心理以及應對模式后，就可以輕易控制并塑造人類情感，這是對人類的另一個巨大威脅。

從上述大段的論述，我們能感受到科學家對人工智能技術的那種既興奮又擔憂的感受，這種情形并不少見。1785年發(fā)明蒸汽機的時候，有人就曾經(jīng)說過：“當心不要成為機器的機器”，當科學家發(fā)現(xiàn)了原子能，更多的人開始擔憂，害怕有一天原子彈終結(jié)了人類。這些擔憂實際上還停留在對人類自控能力的擔憂，并不對技術本身擔憂，因為這些技術是完全掌握在人類的意志里的。

然而，對人工智能的擔憂有些不同，人工智能從開始就是對人類思維和意識的模仿，起始階段就建立在遠超人類的每秒鐘幾十億次的計算的基礎上，和在龐大的網(wǎng)絡中的豐富的場景生產(chǎn)出來的海量數(shù)據(jù)，考慮到在即將到來的萬物互聯(lián)的前景下，在看到量子計算機的曙光時，在新能源和新材料受益于人工智能的發(fā)展而得到突破的愿景，這些物理基礎遠遠超越了人類的總體綜合能力?？梢韵胂?，在此基礎上打造出來的人工智能，總有一天將脫離人類的掌控。這種擔心就是對技術本身的擔憂，是對脫離開人類意志的另一種意志的擔憂，人類從來沒有處理過這類問題。

人工智能源自于人類的思維，也就脫離不開人類思維的局限，參照人類的社會結(jié)構(gòu)，對解決霍金提出的問題也許會有一些啟發(fā)。比如，資本的流動需要監(jiān)管機構(gòu)的監(jiān)督管理。想要實現(xiàn)有效監(jiān)管，首先需要監(jiān)管機構(gòu)在技術上此資本更聰明，能獲取真實信息，并能對這些信息處理，發(fā)現(xiàn)違規(guī)的事實，比如審計會計對會計的審計，就是從不同的側(cè)面實施這種監(jiān)督，總體上要求對審計會計的能力比會計更高明;其次，在發(fā)現(xiàn)問題后，有能力糾正問題，糾正問題需要動用審計會計以外的其他措施，被審計的資本不具備這些措施，并且在資本設立之初就不允許資本具有這樣的能力。只有在某些條件不對等的情況下，才能實現(xiàn)對資本的監(jiān)管。這種不對等的設計，就是保障監(jiān)管的有效性的基礎。

回到人類對人工智能擔憂的問題，由于人工智能最基本的單元是信息，那么真實的信息就是人類掌控人工智能的基礎。在設計人工智能的時候，首先人類要掌握真實信息，建立完全人工的事實調(diào)查機制，或者建立脫離于人工智能網(wǎng)絡的另一個專門用于調(diào)查事實的人工智能網(wǎng)絡，以防止被人工智能欺騙。也可以參照人類社會的分類原則，設計不同領域的人工智能協(xié)作和相互制約，如果發(fā)展出超級人工智能大腦，對人類的監(jiān)管來說是相當不利的，霍金等科學家擔心的也正是這一問題;其次是對人工智能的不對等設計，禁止發(fā)展人工智能的一部分能力，只有這樣設計，才能保證人類在發(fā)現(xiàn)人工智能的問題時，有能力實現(xiàn)對人工智能的監(jiān)管。

然而，這些設想還只是對人工智能現(xiàn)階段的推測后給出的辦法，實際上，在人工智能發(fā)展的進程中，人類很難人為地阻止人工智能發(fā)展某項技能，人工智能之間有著天然的聯(lián)系，那么發(fā)展出人工智能超腦，似乎也成為一種必然。

“當超級機器人研究出來時，將成為人類歷史上發(fā)生過的最好或最壞的事情，把這個問題(掌控人工智能技術的發(fā)展方向)弄清楚將具有極大的價值，我們或許將花費幾十年才能找出問題的答案，那么就讓我們從今天開始啟動這項研究，而不是拖到在超級機器人被啟動的前一天晚上。”相信霍金的這段話，將伴隨人工智能發(fā)展的全過程。