很多圖像識別程序、自動駕駛系統(tǒng)以及其他形式的人工智能，都使用了人工神經(jīng)網(wǎng)絡(luò)，研究人員把數(shù)據(jù)輸入到該網(wǎng)絡(luò)中被稱作“神經(jīng)元”的部分，然后依靠這些神經(jīng)元彼此合作來解決問題——諸如辨別出路上的一個障礙物。人工神經(jīng)網(wǎng)絡(luò)的“學(xué)習(xí)”方式是，不斷調(diào)整神經(jīng)元間的連接，嘗試不同的解決方法。經(jīng)過一段時間的學(xué)習(xí)，這套系統(tǒng)就能找出哪種神經(jīng)連接模式效果最好。之后就會模擬人類大腦的學(xué)習(xí)過程，把這些模式作為默認設(shè)置。

美國哥倫比亞大學(xué)的計算機科學(xué)家楊俊鋒(Junfeng Yang)認為，這項技術(shù)面臨的一個關(guān)鍵挑戰(zhàn)是，開發(fā)者通常并不知道神經(jīng)網(wǎng)絡(luò)是如何決策的，這導(dǎo)致出錯后很難找出原因。2017年10月，在上海舉行的一場專題討論會上，楊俊峰和他人共同展示了一項新研究。

楊俊峰和同事開發(fā)了一個名叫DeepXplore的程序，可通過逆向分析人工智能系統(tǒng)的學(xué)習(xí)過程，尋找系統(tǒng)中的漏洞。該程序會把真實世界中各種難以分辨的場景，輸入某個神經(jīng)網(wǎng)絡(luò)進行測試，并且會在網(wǎng)絡(luò)判斷錯誤時予以告知，這樣神經(jīng)網(wǎng)絡(luò)就能自行糾錯。比如，DeepXplore能夠判斷，某個無人駕駛系統(tǒng)在接收到攝像機傳入的照片后，是否會錯誤地把車導(dǎo)向行人。該調(diào)試工具還能監(jiān)測神經(jīng)網(wǎng)絡(luò)中哪些神經(jīng)元處在活躍狀態(tài)，并且能單獨測試每個神經(jīng)元。楊俊峰說，之前的人工智能調(diào)試工具無法單獨檢查每個神經(jīng)元。

對15個最先進的神經(jīng)網(wǎng)絡(luò)——包括一些用于自動駕駛和檢測計算機惡意軟件的人工智能系統(tǒng)進行測試后，DeepXplore新發(fā)現(xiàn)了數(shù)千個技術(shù)遺漏。DeepXplore把人工智能系統(tǒng)整體的準確率提升了1%至3%，某些系統(tǒng)的準確率甚至達到了99%。美國芝加哥大學(xué)計算機科學(xué)家盧山(未參與此項新研究)稱，DeepXplore可以幫助科學(xué)家開發(fā)出“更準確、更可靠的”神經(jīng)網(wǎng)絡(luò)。“這項技術(shù)對很多研究性學(xué)科和人們的日常生活都將產(chǎn)生積極的作用”。