但一些專家擔(dān)心,供應(yīng)商對依賴這些技術(shù)的風(fēng)險并未給予足夠的重視。 “正在發(fā)生的事情有點令人擔(dān)憂,在某些情況下甚至是危險的。”安全公司Forcepoint的Raffael Marty警告說。
安全行業(yè)對算法的渴望是可以理解的。隨著連接到互聯(lián)網(wǎng)的設(shè)備數(shù)量激增,它正面臨著網(wǎng)絡(luò)攻擊的海嘯。與此同時,熟練的網(wǎng)絡(luò)工作者大量短缺。
使用機器學(xué)習(xí)和AI來幫助自動化威脅檢測和應(yīng)對可以減輕員工的負(fù)擔(dān),并且可能比其他軟件驅(qū)動的方法更有效地幫助識別威脅。
數(shù)據(jù)危險
但Marty和其他一些人在黑帽會議上發(fā)表講話說,現(xiàn)在很多公司正在推出基于機器學(xué)習(xí)的產(chǎn)品,因為他們覺得必須為了吸引那些已經(jīng)進入AI炒作周期的客戶。而且他們有可能忽視機器學(xué)習(xí)算法會產(chǎn)生虛假安全感的方式。
正在推出的許多產(chǎn)品涉及“監(jiān)督學(xué)習(xí)”,這要求公司選擇并標(biāo)記算法訓(xùn)練的數(shù)據(jù)集,例如,通過標(biāo)記惡意軟件的代碼和安全代碼。
Marty說,一個風(fēng)險就是急于將產(chǎn)品推向市場,公司使用的培訓(xùn)信息尚未徹底清除異常數(shù)據(jù)點。這可能導(dǎo)致算法遺漏一些攻擊。另一個是,訪問安全公司系統(tǒng)的黑客可能會通過切換標(biāo)簽來破壞數(shù)據(jù),以便將一些惡意軟件示例標(biāo)記為安全代碼。
壞人甚至不需要篡改數(shù)據(jù);相反,他們可以計算出模型用于標(biāo)記惡意軟件的代碼功能,然后將這些功能從他們自己的惡意代碼中刪除,這樣算法就無法捕獲它。
在大會的一次討論,微軟的Holly Stewart和Jugal Parikh標(biāo)志著過度依賴單一主算法驅(qū)動安全系統(tǒng)的風(fēng)險。危險在于,如果該算法受到損害,則沒有其他信號可以標(biāo)記它的問題。
為了防范這種情況,微軟的Windows Defender威脅防護服務(wù)使用了多種算法,這些算法具有不同的訓(xùn)練數(shù)據(jù)集和功能。因此,如果一個算法被黑客入侵,其他算法的結(jié)果 —— 假設(shè)它們的完整性也沒有受到損害 —— 將凸顯出第一個模型中的異常。
除了這些問題。 Forcepoint的Marty指出,使用一些非常復(fù)雜的算法,很難弄清楚為什么它們實際會給出某些答案。這種“可解釋性”問題可能使得很難評估是什么驅(qū)動了任何異?,F(xiàn)象。
但這些都不意味著人工智能和機器學(xué)習(xí)不應(yīng)該在防御性武器庫中發(fā)揮重要作用。來自Marty和其他人的信息是,對于安全公司及其客戶來說,監(jiān)控和最小化與算法模型相關(guān)的風(fēng)險非常重要。
這是一個不小的挑戰(zhàn),因為擁有網(wǎng)絡(luò)安全和數(shù)據(jù)科學(xué)方面的深厚專業(yè)知識的人們,仍然像拉斯維加斯夏季擁有涼爽日子一樣罕見