但一些專家擔(dān)心，供應(yīng)商對依賴這些技術(shù)的風(fēng)險并未給予足夠的重視。 “正在發(fā)生的事情有點令人擔(dān)憂，在某些情況下甚至是危險的。”安全公司Forcepoint的Raffael Marty警告說。

安全行業(yè)對算法的渴望是可以理解的。隨著連接到互聯(lián)網(wǎng)的設(shè)備數(shù)量激增，它正面臨著網(wǎng)絡(luò)攻擊的海嘯。與此同時，熟練的網(wǎng)絡(luò)工作者大量短缺。

使用機器學(xué)習(xí)和AI來幫助自動化威脅檢測和應(yīng)對可以減輕員工的負(fù)擔(dān)，并且可能比其他軟件驅(qū)動的方法更有效地幫助識別威脅。

數(shù)據(jù)危險

但Marty和其他一些人在黑帽會議上發(fā)表講話說，現(xiàn)在很多公司正在推出基于機器學(xué)習(xí)的產(chǎn)品，因為他們覺得必須為了吸引那些已經(jīng)進入AI炒作周期的客戶。而且他們有可能忽視機器學(xué)習(xí)算法會產(chǎn)生虛假安全感的方式。

正在推出的許多產(chǎn)品涉及“監(jiān)督學(xué)習(xí)”，這要求公司選擇并標(biāo)記算法訓(xùn)練的數(shù)據(jù)集，例如，通過標(biāo)記惡意軟件的代碼和安全代碼。

Marty說，一個風(fēng)險就是急于將產(chǎn)品推向市場，公司使用的培訓(xùn)信息尚未徹底清除異常數(shù)據(jù)點。這可能導(dǎo)致算法遺漏一些攻擊。另一個是，訪問安全公司系統(tǒng)的黑客可能會通過切換標(biāo)簽來破壞數(shù)據(jù)，以便將一些惡意軟件示例標(biāo)記為安全代碼。

壞人甚至不需要篡改數(shù)據(jù);相反，他們可以計算出模型用于標(biāo)記惡意軟件的代碼功能，然后將這些功能從他們自己的惡意代碼中刪除，這樣算法就無法捕獲它。

在大會的一次討論，微軟的Holly Stewart和Jugal Parikh標(biāo)志著過度依賴單一主算法驅(qū)動安全系統(tǒng)的風(fēng)險。危險在于，如果該算法受到損害，則沒有其他信號可以標(biāo)記它的問題。

為了防范這種情況，微軟的Windows Defender威脅防護服務(wù)使用了多種算法，這些算法具有不同的訓(xùn)練數(shù)據(jù)集和功能。因此，如果一個算法被黑客入侵，其他算法的結(jié)果 —— 假設(shè)它們的完整性也沒有受到損害 —— 將凸顯出第一個模型中的異常。

除了這些問題。 Forcepoint的Marty指出，使用一些非常復(fù)雜的算法，很難弄清楚為什么它們實際會給出某些答案。這種“可解釋性”問題可能使得很難評估是什么驅(qū)動了任何異?，F(xiàn)象。

但這些都不意味著人工智能和機器學(xué)習(xí)不應(yīng)該在防御性武器庫中發(fā)揮重要作用。來自Marty和其他人的信息是，對于安全公司及其客戶來說，監(jiān)控和最小化與算法模型相關(guān)的風(fēng)險非常重要。

這是一個不小的挑戰(zhàn)，因為擁有網(wǎng)絡(luò)安全和數(shù)據(jù)科學(xué)方面的深厚專業(yè)知識的人們，仍然像拉斯維加斯夏季擁有涼爽日子一樣罕見