【關(guān)鍵詞】大數(shù)據(jù)安全分析，大數(shù)據(jù)

【摘要】一旦網(wǎng)絡安全遇到大數(shù)據(jù)安全分析，就必然被深刻地影響并重塑。這種重塑體現(xiàn)在安全防護架構(gòu)、安全分析體系和業(yè)務模式等諸多方面。

安全數(shù)據(jù)的大數(shù)據(jù)化、傳統(tǒng)安全分析面對新型威脅的缺陷、情境感知和智能安全的發(fā)展大勢，使得大數(shù)據(jù)安全分析迅速進入了網(wǎng)絡安全領(lǐng)域。而一旦網(wǎng)絡安全遇到大數(shù)據(jù)安全分析，就必然被深刻地影響并重塑。這種重塑體現(xiàn)在安全防護架構(gòu)、安全分析體系和業(yè)務模式等諸多方面。

1 大數(shù)據(jù)安全分析重塑安全防護架構(gòu)

1.1 大數(shù)據(jù)安全分析重塑SIEM和安管平臺

在所有網(wǎng)絡安全領(lǐng)域中，大數(shù)據(jù)安全分析對安全管理平臺(SOC平臺、安管平臺)及安全信息與事件分析(SIEM)系統(tǒng)的影響最為深遠。

傳統(tǒng)的SIEM和安管平臺由于其核心的安全事件采集、分析及存儲引擎的架構(gòu)是針對中小數(shù)據(jù)集合而設計的，在面對大數(shù)據(jù)的時候運行乏力，難以為繼。SIEM和安管平臺都具有安全事件(日志)的采集、存儲、分析、展示等幾個過程，正好與大數(shù)據(jù)分析的收集、存儲、分析和可視化過程完全相同。因此，SIEM和安管平臺天然具有應用大數(shù)據(jù)分析技術(shù)的特質(zhì)。而將傳統(tǒng)SIEM和安管平臺的安全事件采集、分析及存儲引擎更換為大數(shù)據(jù)分析引擎后，SIEM和安管平臺被帶入了一個全新的高度，進入大數(shù)據(jù)時代。

大數(shù)據(jù)安全分析技術(shù)的運用已經(jīng)成為未來SIEM和安管平臺的關(guān)鍵技術(shù)發(fā)展趨勢之一。

1.2 大數(shù)據(jù)安全分析推動高級威脅檢測

傳統(tǒng)的安全分析是構(gòu)建在基于特征的檢測基礎之上的，只能做到知所已知，難以應對高級威脅的挑戰(zhàn)。而要更好地檢測高級威脅，就需要知所未知，這也就催生了諸如行為異常分析技術(shù)的發(fā)展。行為異常分析的本質(zhì)就是一種機器學習，自動建立起一個正常的基線，從而去幫助分析人員識別異常。面對天量的待分析數(shù)據(jù)，要想達成理想的異常分析結(jié)果，借助大數(shù)據(jù)分析技術(shù)成為明智之舉。

同時，為了對抗高級威脅，還需要有長時間周期的數(shù)據(jù)分析能力，而這正是大數(shù)據(jù)分析的優(yōu)勢所在。

此外，安全分析人員在進行高級威脅檢測的過程中需要不斷地對感興趣的安全數(shù)據(jù)進行數(shù)據(jù)勘探，而要針對天量數(shù)據(jù)實現(xiàn)即席的交互式分析，需要有強大的數(shù)據(jù)查詢引擎，這同樣也是大數(shù)據(jù)分析的優(yōu)勢所在。

1.3 大數(shù)據(jù)安全分析促進欺詐檢測

客戶業(yè)務的日益復雜和線上業(yè)務的不斷豐富，使得欺詐檢測遭遇了前所未有的挑戰(zhàn)。現(xiàn)代的欺詐檢測系統(tǒng)大都具備基于行為輪廓的異常檢測能力，而對天量的用戶、帳號、實體、業(yè)務的訪問行為信息進行建模絕非易事，大數(shù)據(jù)技術(shù)的引入有助于提升建模過程的速度和準確度。大數(shù)據(jù)安全分析技術(shù)正在重塑欺詐檢測系統(tǒng)。

1.4 大數(shù)據(jù)安全分析增強各類安全產(chǎn)品

除了前面提及的已經(jīng)顯著受到大數(shù)據(jù)技術(shù)影響的安全防護系統(tǒng)之外，很多傳統(tǒng)的安全防護系統(tǒng)也同樣正在引入大數(shù)據(jù)安全分析技術(shù)。

借助大數(shù)據(jù)安全分析技術(shù)，DLP系統(tǒng)將變得更加智能，不僅能夠?qū)σ呀?jīng)標定的敏感信息進行檢測，還能對用戶使用數(shù)據(jù)的行為過程進行建模，從而針對更多地難以進行簡單標定的敏感信息的訪問進行異常檢測。

借助大數(shù)據(jù)安全分析技術(shù)，通過對DAM系統(tǒng)收集到的海量數(shù)據(jù)庫訪問日志進行業(yè)務建模，從而識別用戶的業(yè)務違規(guī)，使得DAM系統(tǒng)的價值得到進一步提升。

借助大數(shù)據(jù)安全分析技術(shù)，能夠?qū)崿F(xiàn)針對IAM和4A系統(tǒng)的用戶違規(guī)智能審計。通過對IAM和4A系統(tǒng)的海量用戶訪問日志進行建模和機器學習，發(fā)現(xiàn)小概率的異常事件。

借助大數(shù)據(jù)安全分析技術(shù)，還能夠提升靜態(tài)應用安全測試(SAST)系統(tǒng)的檢測速率，并能夠通過高效地聚類/分類等算法更好地尋找應用系統(tǒng)的安全漏洞。

1.5 大數(shù)據(jù)安全分析激發(fā)網(wǎng)絡威脅情報分析與協(xié)作

隨著高級威脅的日益泛濫，尤其是網(wǎng)絡空間安全對抗逐步上升到專門組織、國家層面，很多傳統(tǒng)的犯罪分析和軍事戰(zhàn)爭的理論及戰(zhàn)略戰(zhàn)術(shù)被不斷引入網(wǎng)絡空間安全之中。這其中，最顯著的一個趨勢就是網(wǎng)絡威脅情報的興起。

Gartner認為威脅情報是一種基于證據(jù)的知識，包括了情境、機制、指標、隱含和實際可行的建議。威脅情報描述了現(xiàn)存的、或者是即將出現(xiàn)針對資產(chǎn)的威脅或危險，并可以用于通知主體針對相關(guān)威脅或危險采取某種響應。

威脅情報最大的好處就是能夠直接作用于企業(yè)和組織的安全防護設施，實現(xiàn)高效快速的威脅檢測和阻斷。

但是威脅情報信息的獲得絕非易事。專業(yè)的威脅情報服務提供商能夠采集互聯(lián)網(wǎng)上的各種數(shù)據(jù)，既包括淺層WEB，也包括深層WEB，甚至是暗網(wǎng)(Dark Web)的數(shù)據(jù)，抑或是授權(quán)客戶的數(shù)據(jù)，然后基本上都利用大數(shù)據(jù)分析技術(shù)產(chǎn)生有關(guān)攻擊者的威脅情報信息。

誰也不可能獲得獨立獲得最全的威脅情報，就像我們的反恐或者犯罪調(diào)查一樣，各個情報組織間的合作至關(guān)重要。網(wǎng)絡威脅情報亦是如此。利用大數(shù)據(jù)分析技術(shù)，有的廠商建立起一個威脅情報的分享和協(xié)作平臺，進行威脅情報的交換，更大限度地發(fā)揮情報的價值。

簡言之，借助大數(shù)據(jù)安全分析技術(shù)，威脅情報分析與共享這個新興的安全分析領(lǐng)域獲得了突飛猛進的進步，當前正處于聚光燈下。

1.6 大數(shù)據(jù)安全分析造就大數(shù)據(jù)安全分析平臺

大數(shù)據(jù)安全分析不僅重塑著傳統(tǒng)的安全防護系統(tǒng)，催化著威脅情報，有時候也顯性化地表現(xiàn)為一個專有的分析平臺。

如前所述，大數(shù)據(jù)安全分析不是一個產(chǎn)品分類，而代表一種技術(shù)，各種安全產(chǎn)品都能夠運用大數(shù)據(jù)安全分析技術(shù)。在一個較為完備的基于大數(shù)據(jù)安全分析的解決方案中，通常會有一個大數(shù)據(jù)安全分析平臺作為整個方案的核心部件，承載大數(shù)據(jù)分析的核心功能，將分散的安全要素信息進行集中、存儲、分析、可視化，對分析的結(jié)果進行分發(fā)，對分析的任務進行調(diào)度，將各個分散的安全分析技術(shù)整合到一起，實現(xiàn)各種技術(shù)間的互動。此時，一般而言的SIEM、安管平臺、DLP、4A等等系統(tǒng)都在這個大數(shù)據(jù)安全分析平臺之下。

2 大數(shù)據(jù)安全分析重塑安全分析體系

大數(shù)據(jù)安全分析技術(shù)和其它新興分析技術(shù)的崛起，極大地豐富了傳統(tǒng)的安全分析體系和方法論。借鑒已故著名數(shù)據(jù)庫專家、圖靈獎獲得者詹姆士格雷的科學研究范式理論，我們提出了“全范式分析”的全新安全分析體系。

根據(jù)科學研究范式理論，詹姆士格雷將人類科研模式的發(fā)展歷程劃分為4個階段(也叫“范式”，paradigm)。

第一范式：數(shù)千年前，科學研究最初只有實驗科學，科學家通過經(jīng)驗來解釋自然現(xiàn)象。

第二范式：數(shù)百年來，科學研究出現(xiàn)了理論科學，運用了各種定律和定理，如開普勒定律，牛頓運動定律，麥克斯韋方程等。

第三范式：近幾十年來，對于許多問題，理論分析方法變得非常復雜以至于難以解決，人們開始尋求模擬的方法，這就產(chǎn)生了計算科學。

第四范式：當前，出現(xiàn)了將實驗、理論和仿真統(tǒng)一的科研方法，稱為數(shù)據(jù)密集型計算模式。在這種模式中，由軟件處理由各種儀器或模擬實驗產(chǎn)生的大量數(shù)據(jù)，并將得到信息或知識存儲在計算機中，科研人員只需從這些計算機中分析感興趣的數(shù)據(jù)。

我們把科研方法的發(fā)展歷程，同安全分析方法的發(fā)展歷程做個對比，就會發(fā)現(xiàn)二者存在驚人的相似性：

(1) 安全分析第一范式：嘗試、實驗。在網(wǎng)絡應用尚未大規(guī)模普及、網(wǎng)絡安全還未成為突出問題的時候，市場上還沒有培育出成熟的安全工具和產(chǎn)品，安全分析主要依賴于安全管理人員的經(jīng)驗。目前仍然廣泛采用的滲透測試、安全咨詢服務等，仍然是以這種模式運行的。

(2) 安全分析第二范式：模型、特征。隨著安全問題的日益普遍，單憑安全管理人員的經(jīng)驗已經(jīng)無法應對，迫切需要自動化的分析工具，由此產(chǎn)生了入侵檢測系統(tǒng)、防病毒系統(tǒng)和防火墻等安全產(chǎn)品。這些安全產(chǎn)品的共同點就是對網(wǎng)絡攻擊行為進行分析，提取不同層面的特征(如網(wǎng)絡層連接特征用于防火墻制定ACL規(guī)則;應用層內(nèi)容特征用于提取IDS的匹配規(guī)則;文件級特征用于病毒掃描)，對網(wǎng)絡流量進行實時自動化分析。這類安全產(chǎn)品的關(guān)鍵是對攻擊特征的提取和描述，其本質(zhì)是對攻擊行為的建模。

(3) 安全分析第三范式：模擬、仿真。隨著APT的出現(xiàn)，攻擊變得越來越復雜、特征變化越來越快，以攻擊行為建模為基礎的分析方式漸漸難以應對，從而出現(xiàn)了以虛擬執(zhí)行技術(shù)為代表的新型分析技術(shù)。這種技術(shù)的本質(zhì)是模擬被攻擊者在遭受攻擊后的反應，這樣無需對攻擊行為建模也能檢測未知的攻擊。

(4) 安全分析第四范式：大數(shù)據(jù)安全分析。大數(shù)據(jù)技術(shù)的出現(xiàn)，將安全分析提升到了新的階段。有了大數(shù)據(jù)平臺的支撐，安全分析人員可以將各類不同類型的數(shù)據(jù)，如通過滲透測試得到的漏洞信息、通過傳統(tǒng)檢測設備產(chǎn)生的報警事件、通過虛擬執(zhí)行得到的可疑攻擊執(zhí)行結(jié)果，進行大范圍的匯總和關(guān)聯(lián)。同時，通過長時間的關(guān)聯(lián)，安全分析人員可挖掘某臺主機、某個用戶的行為異常，從而實現(xiàn)不基于簽名的未知攻擊檢測。對于每一條可疑報警，分析人員可以查詢與該報警相關(guān)的各類數(shù)據(jù)，從而確定報警真實性、攻擊源，評估攻擊造成的危害。

從上述分析中可以看到，安全分析方法的發(fā)展歷程與詹姆士格雷概括的科學研究范式間存在著高度對應的關(guān)系，從而可以用科學研究范式來類比安全分析方法。而這其中，大數(shù)據(jù)安全分析技術(shù)正代表了最前沿的安全分析第四范式。大數(shù)據(jù)安全分析是全新的“全范式安全分析”體系的重要組成部分。所謂“全范式安全分析”體系，就是強調(diào)要綜合利用四種安全分析范式來構(gòu)建一個完備的安全分析體系。

3 大數(shù)據(jù)安全分析重塑網(wǎng)絡安全業(yè)務模式

大數(shù)據(jù)安全分析的興起不僅改變了傳統(tǒng)的網(wǎng)絡安全防護架構(gòu)、安全分析體系，也在深刻變革現(xiàn)有的網(wǎng)絡安全業(yè)務模式。最典型地，大數(shù)據(jù)安全分析直接促進了SECaaS(安全即服務)的發(fā)展。包括SIEM、日志分析、欺詐檢測、威脅情報在內(nèi)的多種服務都在積極擁抱大數(shù)據(jù)安全分析技術(shù)。大數(shù)據(jù)安全分析已成為安全業(yè)務模式變革的催化劑。

即便是針對企業(yè)和組織內(nèi)部的大數(shù)據(jù)安全分析，由于安全與業(yè)務的不斷融合，以及數(shù)據(jù)中心和云計算的普及，未來必然要求將大數(shù)據(jù)安全分析與大數(shù)據(jù)業(yè)務分析進行整合，安全數(shù)據(jù)不過是企業(yè)和組織業(yè)務數(shù)據(jù)的支撐數(shù)據(jù)之一。在這個發(fā)展趨勢下，必然涉及到開發(fā)、運維、安全團隊的交互與協(xié)作(DevOpsSec)，業(yè)務部門與技術(shù)部門的融合。大數(shù)據(jù)安全分析將成為安全與業(yè)務融合的催化劑。

4 大數(shù)據(jù)安全分析重塑網(wǎng)絡安全的技術(shù)本質(zhì)

大數(shù)據(jù)安全分析何以如此深刻地重塑網(wǎng)絡安全?從大數(shù)據(jù)分析(BDA)的技術(shù)視角來看，就在于大數(shù)據(jù)安全分析實現(xiàn)了兩個質(zhì)的飛躍。

(1)可控投入前提下的性能的飛躍：大數(shù)據(jù)技術(shù)的興起，使得企業(yè)和組織能夠在可以接受的投入的前提下，實現(xiàn)安全分析性能的飛躍。在大數(shù)據(jù)分析技術(shù)的支撐下，數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)存儲、數(shù)據(jù)勘探的性能有了質(zhì)的提升。性能的提升，使得原來很多不可能進行的分析工作成為了可能，并且極大提升了分析工具的用戶體驗。用安全分析師的話來說，“有了大數(shù)據(jù)分析技術(shù)之后，數(shù)據(jù)分析變得可用了”。

(2)安全分析技術(shù)的飛躍：大數(shù)據(jù)技術(shù)的引入，使得安全分析技術(shù)從針對樣本數(shù)據(jù)的分析拓展到針對全量數(shù)據(jù)的分析，從基于特征的匹配分析升級到基于行為的異常分析。受限于技術(shù)約束，傳統(tǒng)的安全分析大都僅針對樣本數(shù)據(jù)進行分析，并將分析結(jié)果推論到剩余的數(shù)據(jù)集合上。而隨著高級威脅和欺詐行為的不斷進化，以及安全數(shù)據(jù)在各個維度的不斷增長，越來越需要對全量數(shù)據(jù)(涵蓋并不限于包數(shù)據(jù)、流數(shù)據(jù)、事件數(shù)據(jù))、甚至是相關(guān)的情境數(shù)據(jù)進行分析。大數(shù)據(jù)分析有很好的天量數(shù)據(jù)并行分析架構(gòu)，能夠滿足這個需求。同時，大數(shù)據(jù)分析充分提升了機器學習、乃至深度學習算法運用的可行性，使得安全分析領(lǐng)域能夠引入很多過去看來十分“奢侈” 的機器學習算法。借助這些基于大數(shù)據(jù)技術(shù)的分析算法，使得我們能夠進行行為輪廓建模，學習正常模式，識別異常模式，并在對抗中持續(xù)學習，不斷進化。通過異常分析，能夠更好地應對高級威脅和欺詐，幫助我們從知所已知提升到知所未知、乃至前所未知(Unknown unknowns)。

【致謝】本文關(guān)于“全范式安全分析”的體系設計來自于大潘，而“全范式安全分析”的闡述則來自于百川的貢獻。在此，一并致以感謝!

原創(chuàng)作品，允許轉(zhuǎn)載，轉(zhuǎn)載時請務必以超鏈接形式標明文章 原始出處 、作者信息和本聲明。否則將追究法律責任。http://yepeng.blog.51cto.com/3101105/1616087