網(wǎng)絡(luò)犯罪和其他惡意活動的增加正在促使企業(yè)部署比以往任何時候都更多的安全控制以及收集更多的數(shù)據(jù)?，F(xiàn)在，企業(yè)開始將大數(shù)據(jù)分析技術(shù)應(yīng)用到安全監(jiān)控中，試圖通過范圍更廣更深入的分析來保護寶貴的公司資源。大數(shù)據(jù)安全分析技術(shù)部分利用了大數(shù)據(jù)的可擴展性，并結(jié)合了高級分析和安全事件與事故管理系統(tǒng)(SIEM)。

大數(shù)據(jù)安全分析適合很多用例，但并不適合所有用例。例如，我們應(yīng)該考慮一下檢測和阻止高級持續(xù)性威脅技術(shù)面臨的挑戰(zhàn)。使用這些技術(shù)的攻擊者可能會采用慢節(jié)奏、低能見度的攻擊模式來逃避檢測，而傳統(tǒng)的日志記錄和監(jiān)控技術(shù)可能無法檢測到這種攻擊，因為這種攻擊的各個步驟可能在單獨的設(shè)備執(zhí)行，跨越很長的時間周期，并且看起來似乎沒有關(guān)聯(lián)。掃描日志和網(wǎng)絡(luò)流量中的可疑活動有時候可能會錯過攻擊者殺傷鏈的關(guān)鍵部分，因為它們可能與正常活動的差別不大。而避免遺漏數(shù)據(jù)的方法之一是盡可能多地收集數(shù)據(jù)，而這正是大數(shù)據(jù)安全分析平臺中使用的方法。

顧名思義，這種安全分析方法利用了大數(shù)據(jù)工具和技術(shù)，這些工具和技術(shù)可收集、分析和管理高速生成的大量數(shù)據(jù)。這些相同的技術(shù)還被用于提高各種產(chǎn)品的效率，從針對流媒體用戶的電影推薦系統(tǒng)，到分析車輛性能特性來優(yōu)化運輸效率等。但應(yīng)用到信息安全領(lǐng)域時，它們也同樣有用。

在評估大數(shù)據(jù)安全分析平臺時，一定要考慮以下五個因素，這五個因素是充分發(fā)揮大數(shù)據(jù)分析優(yōu)勢的關(guān)鍵：

· 統(tǒng)一數(shù)據(jù)管理平臺;

· 支持多種數(shù)據(jù)類型，包括日志、漏洞和流量;

· 可擴展的數(shù)據(jù)獲取;

· 信息安全專用分析工具;

· 合規(guī)性報告

總之，這些功能可提供廣泛的功能來收集高速生成的大量數(shù)據(jù)，并且快速分析這些數(shù)據(jù)，讓信息安全專業(yè)人員可有效地響應(yīng)攻擊。

第1個因素：統(tǒng)一數(shù)據(jù)管理平臺

統(tǒng)一數(shù)據(jù)管理平臺是大數(shù)據(jù)安全分析系統(tǒng)的基礎(chǔ);數(shù)據(jù)管理平臺負責(zé)存儲和查詢企業(yè)數(shù)據(jù)。這聽起來像是眾所周知的已經(jīng)解決的問題，而不應(yīng)該是一個重要的特性，但它確實很重要。由于關(guān)系數(shù)據(jù)庫無法像分布式NoSQL數(shù)據(jù)庫(例如Cassandra和Accumulo)那樣經(jīng)濟高效地擴展，處理大量數(shù)據(jù)通常需要分布式數(shù)據(jù)庫。不過，NoSQL數(shù)據(jù)庫的可擴展性也有自己的缺點。例如，我們很難部署數(shù)據(jù)庫某些功能的分布式版本，如ACID事務(wù)等。

大數(shù)據(jù)安全分析產(chǎn)品下的數(shù)據(jù)管理平臺需要平衡數(shù)據(jù)管理功能與成本及可擴展性。該數(shù)據(jù)庫應(yīng)該能夠?qū)崟r寫入新數(shù)據(jù)，而不會阻止寫入。同時，查詢應(yīng)該快速執(zhí)行以支持對入站安全數(shù)據(jù)的實時分析。

統(tǒng)一數(shù)據(jù)管理平臺的另一個重要方面是數(shù)據(jù)集成。

第2個因素：支持多種數(shù)據(jù)類型

我們通常會從數(shù)量、速度和種類來描述大數(shù)據(jù)。其中安全事件數(shù)據(jù)的多樣性給數(shù)據(jù)集成帶來了很多挑戰(zhàn)。

這些事件數(shù)據(jù)是按不同的細粒度級別來收集。例如，網(wǎng)絡(luò)數(shù)據(jù)包是低級別、細粒度數(shù)據(jù)，而有關(guān)管理員密碼變更的日志條目則為粗粒度數(shù)據(jù)。盡管存在明顯區(qū)別，它們還是可以關(guān)聯(lián)在一起。例如網(wǎng)絡(luò)數(shù)據(jù)包可以捕捉有關(guān)攻擊者到達目標(biāo)服務(wù)器采用的方法的數(shù)據(jù)，在攻擊者獲取目標(biāo)服務(wù)器訪問權(quán)限后，就可以更改管理員密碼。

第3個因素：可擴展的數(shù)據(jù)獲取

服務(wù)器、端點、網(wǎng)絡(luò)和其他基礎(chǔ)設(shè)施組件處于不斷變化的狀態(tài)。很多這些狀態(tài)變化記錄了有用的信息，這些信息應(yīng)該發(fā)送到大數(shù)據(jù)安全分析平臺。假設(shè)網(wǎng)絡(luò)有足夠的帶寬，那么，最大的風(fēng)險就是安全分析平臺的數(shù)據(jù)獲取組件無法應(yīng)對入站數(shù)據(jù)。如果是這樣的話，數(shù)據(jù)可能會丟失，而大數(shù)據(jù)安全分析平臺則會失去價值。

系統(tǒng)可以通過對消息隊列中排隊數(shù)據(jù)維持高寫入吞吐量，以適應(yīng)可擴展的數(shù)據(jù)獲取。同時，有些數(shù)據(jù)庫專門用于支持高容量寫入，它們采用僅允許附加的方式來寫入，數(shù)據(jù)被附加在日志數(shù)據(jù)的后面，而不是寫入到磁盤的任意塊，這可減少了隨機寫入到磁盤而帶來的延遲。或者，數(shù)據(jù)管理系統(tǒng)可以維持一個隊列作為緩沖器，在數(shù)據(jù)寫入到磁盤時保存數(shù)據(jù)。如果消息激增或者硬件故障減緩寫入操作，數(shù)據(jù)可積累在隊列中，直到數(shù)據(jù)庫可以清除寫入的積壓。

第4個因素：安全分析工具

Hadoop和Spark等大數(shù)據(jù)平臺是通用工具。雖然它們可以有效構(gòu)建安全工具，但它們本身并不是安全分析工具。分析工具應(yīng)該可以擴展來滿足企業(yè)基礎(chǔ)設(shè)施中生成的數(shù)據(jù)，這樣來看，Hadoop和Spark等工具滿足這個標(biāo)準(zhǔn)。此外，安全分析工具應(yīng)該考慮不同數(shù)據(jù)類型之間的關(guān)系，例如用戶、服務(wù)器和網(wǎng)絡(luò)等。

分析師應(yīng)該能夠在抽象層面查詢事件數(shù)據(jù)。例如，分析師應(yīng)該能夠查詢使用特定服務(wù)器和應(yīng)用的用戶之間的關(guān)聯(lián)，以及這些設(shè)備之間的關(guān)聯(lián)。這種查詢需要更多圖形分析工具，而不是傳統(tǒng)數(shù)據(jù)庫中使用的行和列的查詢。

第5個因素：合規(guī)性報告

合規(guī)報告不再是“最好滿足”的要求，而是必須滿足的要求。很多因合規(guī)目的報告的數(shù)據(jù)元素都涉及安全最佳做法。即使企業(yè)不需要維持合規(guī)報告，這些報告也可以為企業(yè)提供很好的內(nèi)部監(jiān)督。

當(dāng)企業(yè)需要提供合規(guī)報告，企業(yè)需要審查各種大數(shù)據(jù)安全平臺中的報告制度，以確保滿足企業(yè)的業(yè)務(wù)需求。

有效部署大數(shù)據(jù)安全分析平臺

大數(shù)據(jù)安全分析利用了大數(shù)據(jù)平臺的可擴展性，以及安全分析和SIEM工具等的分析功能。對于企業(yè)而言，重要的是認(rèn)識到這兩者的特性，以及有效部署大數(shù)據(jù)安全分析平臺所需的五個因素。簡單地使用“安全”來重新命名大數(shù)據(jù)平臺或者堅信SIEM可以處理大數(shù)據(jù)(盡管它并不是為此目的而構(gòu)建)并不是真正的大數(shù)據(jù)安全分析平臺。