很多圖像識別程序、自動駕駛系統(tǒng)以及其他形式的人工智能,都使用了人工神經(jīng)網(wǎng)絡(luò),研究人員把數(shù)據(jù)輸入到該網(wǎng)絡(luò)中被稱作“神經(jīng)元”的部分,然后依靠這些神經(jīng)元彼此合作來解決問題——諸如辨別出路上的一個障礙物。人工神經(jīng)網(wǎng)絡(luò)的“學(xué)習(xí)”方式是,不斷調(diào)整神經(jīng)元間的連接,嘗試不同的解決方法。經(jīng)過一段時間的學(xué)習(xí),這套系統(tǒng)就能找出哪種神經(jīng)連接模式效果最好。之后就會模擬人類大腦的學(xué)習(xí)過程,把這些模式作為默認設(shè)置。
美國哥倫比亞大學(xué)的計算機科學(xué)家楊俊鋒(Junfeng Yang)認為,這項技術(shù)面臨的一個關(guān)鍵挑戰(zhàn)是,開發(fā)者通常并不知道神經(jīng)網(wǎng)絡(luò)是如何決策的,這導(dǎo)致出錯后很難找出原因。2017年10月,在上海舉行的一場專題討論會上,楊俊峰和他人共同展示了一項新研究。
楊俊峰和同事開發(fā)了一個名叫DeepXplore的程序,可通過逆向分析人工智能系統(tǒng)的學(xué)習(xí)過程,尋找系統(tǒng)中的漏洞。該程序會把真實世界中各種難以分辨的場景,輸入某個神經(jīng)網(wǎng)絡(luò)進行測試,并且會在網(wǎng)絡(luò)判斷錯誤時予以告知,這樣神經(jīng)網(wǎng)絡(luò)就能自行糾錯。比如,DeepXplore能夠判斷,某個無人駕駛系統(tǒng)在接收到攝像機傳入的照片后,是否會錯誤地把車導(dǎo)向行人。該調(diào)試工具還能監(jiān)測神經(jīng)網(wǎng)絡(luò)中哪些神經(jīng)元處在活躍狀態(tài),并且能單獨測試每個神經(jīng)元。楊俊峰說,之前的人工智能調(diào)試工具無法單獨檢查每個神經(jīng)元。
對15個最先進的神經(jīng)網(wǎng)絡(luò)——包括一些用于自動駕駛和檢測計算機惡意軟件的人工智能系統(tǒng)進行測試后,DeepXplore新發(fā)現(xiàn)了數(shù)千個技術(shù)遺漏。DeepXplore把人工智能系統(tǒng)整體的準確率提升了1%至3%,某些系統(tǒng)的準確率甚至達到了99%。美國芝加哥大學(xué)計算機科學(xué)家盧山(未參與此項新研究)稱,DeepXplore可以幫助科學(xué)家開發(fā)出“更準確、更可靠的”神經(jīng)網(wǎng)絡(luò)。“這項技術(shù)對很多研究性學(xué)科和人們的日常生活都將產(chǎn)生積極的作用”。