數(shù)據(jù)中心網(wǎng)絡(luò)流量采集難題

責(zé)任編輯:cres

作者:harbor

2018-09-26 13:58:25

來源:企業(yè)網(wǎng)D1Net

原創(chuàng)

隨著數(shù)據(jù)中心運維精細化要求不斷提高,網(wǎng)絡(luò)流量采集分析已經(jīng)成為數(shù)據(jù)中心基礎(chǔ)設(shè)施不可缺少的分析手段,通過網(wǎng)絡(luò)流量深度分析,我們能夠更直觀地加快故障定位、分析應(yīng)用數(shù)據(jù)、協(xié)助優(yōu)化定位,加快故障定位。

隨著數(shù)據(jù)中心運維精細化要求不斷提高,網(wǎng)絡(luò)流量采集分析已經(jīng)成為數(shù)據(jù)中心基礎(chǔ)設(shè)施不可缺少的分析手段,通過網(wǎng)絡(luò)流量深度分析,我們能夠更直觀地加快故障定位、分析應(yīng)用數(shù)據(jù)、協(xié)助優(yōu)化定位,加快故障定位。網(wǎng)絡(luò)流量采集也是一門學(xué)問,做得好會在關(guān)鍵時刻起作用,做得不好就會形成虛設(shè),反而還要占用大量的網(wǎng)絡(luò)帶寬資源,這樣的流量采集不如不做。流量采集可不是簡單地將幾個網(wǎng)絡(luò)設(shè)備端口的流量鏡像一份發(fā)給分析服務(wù)器就了事,要建立一個覆蓋全面、合理有效的流量采集網(wǎng)絡(luò),這樣的流量采集才能有助于優(yōu)化網(wǎng)絡(luò)和業(yè)務(wù)性能指標(biāo),減少故障發(fā)生概率。當(dāng)然,網(wǎng)絡(luò)流量采集也面臨著不少新問題,本文將娓娓道來。
 
流量增長太快
 
根據(jù)預(yù)測,到2019年數(shù)據(jù)中心的流量將為2014年的三倍,平均每年保持著30%的增長率,不要只看增長率,其實2014年的流量基數(shù)就很大,2014年就有2.1ZB。流量的增長會給監(jiān)管帶來很多問題。比如:現(xiàn)有的監(jiān)控服務(wù)器處理能力不夠,鏡像流量過大導(dǎo)致設(shè)備端口或內(nèi)部通道擁塞,流量種類太多導(dǎo)致采集類型不完整等等。所以,流量增加后會帶來一系列問題,監(jiān)管的手段也要隨之調(diào)整,否則就無法真實采集到流量實時狀態(tài),甚至還會對現(xiàn)有業(yè)務(wù)造成影響。如果采用的是采樣的方式,就有一定的采樣比,隨著流量的增長,采集的流量會多一些,也可能會漏掉一些特征流量,還有可能采集的流量太大,將設(shè)備CPU打爆,這時就要降低采樣比,但這時降低采樣比采集的樣本流量會更少,準(zhǔn)確度下降??傊?,當(dāng)流量在不斷增加時,不僅要對設(shè)備進行擴容,對采集流量的方法也要調(diào)整,否則流量采集起不到監(jiān)管作用。
 
采集需求多樣化
 
數(shù)據(jù)中心網(wǎng)絡(luò)承載的業(yè)務(wù)種類越來越多,流量特征也越來越多,有時就需要針對不同流量部署不同的采集技術(shù)。像鏡像、Netflow、Netsteam、Erspan等都可以作為流量采集的技術(shù)。鏡像種類就很繁多,可以基于端口鏡像、基于某些特征流鏡像,基于VLAN鏡像,鏡像流量可以發(fā)向多臺監(jiān)控服務(wù)器,可以跨多臺設(shè)備鏡像,或者通過VLAN廣播,以此來滿足各種流量采集的要求。就算有這么多種類的流量采集方式,時常也得不到滿足。像Netsteam受限于技術(shù)實現(xiàn),有的只能識別五元素IP特征的流量,對于IP頭其它部位變化特征則無法采集和分類,有的設(shè)備采用CPU軟件實現(xiàn),處理能力過低,有的設(shè)備采集FPGA硬件實現(xiàn),識別流量的種類就沒有那么豐富。再有,在一個高冗余的網(wǎng)絡(luò)架構(gòu)中,二層多路徑等技術(shù)也對流量采集提出了挑戰(zhàn),不同路徑均有流量分布,就需要在所有鏈路上都部署流量采集點,這樣相同的流量在不同的鏈路上均能采集到,實際得到的流量要比采樣比還高。
 
數(shù)據(jù)安全要求高
 
人們對數(shù)據(jù)中心安全越來越重視,尤其擔(dān)心自己的隱私數(shù)據(jù)遭到泄露或者被人所利用,若在數(shù)據(jù)中心部署過多的流量監(jiān)控,易引起人們的反感,這就像是在換衣間安裝了攝像頭一樣,覺得自己的隱私受人監(jiān)控,所以數(shù)據(jù)中心里的數(shù)據(jù)流量并不允許隨意去采集,作為數(shù)據(jù)分析使用,所以要流量采集取之有道,流量監(jiān)管信息公開,讓人們放心使用數(shù)據(jù)中心的應(yīng)用。數(shù)據(jù)中心網(wǎng)絡(luò)承載著客戶業(yè)務(wù)的重要數(shù)據(jù),要對數(shù)據(jù)進行安全檢查,避免在數(shù)據(jù)采集的過程中出現(xiàn)信息泄露,安全問題絕對是在進行采集網(wǎng)絡(luò)規(guī)劃建設(shè)時首要重點考慮的問題。對于部分重要的生產(chǎn)網(wǎng)絡(luò)流量數(shù)據(jù),必須要進行脫敏處理,隱藏客戶敏感信息,避免信息泄露。在數(shù)據(jù)分析后,及時將原始數(shù)據(jù)進行銷毀,避免流量數(shù)據(jù)被泄露或為他人不法所用。
 
流量分析工具差異大
 
通過各種流量采集技術(shù)從網(wǎng)絡(luò)中獲取的流量是幾乎沒有加工過的數(shù)據(jù),這些數(shù)據(jù)被采集到監(jiān)控設(shè)備上時,需要通過特定的分析工具解析和統(tǒng)計分析。比如:Netflow采集,只不過將采集到的流量做了報文封裝,形成統(tǒng)一格式的報文發(fā)給監(jiān)控設(shè)備,監(jiān)控設(shè)備要能識別Netflow報文,解析報文將流量原始報文還原出來,然后去原始流量進行分析和統(tǒng)計。采用不同的分析軟件工具,獲得的結(jié)果會有很大出入,有些工具只是統(tǒng)計,將流量進行歸類,而有些工具則可以利用云計算、大數(shù)據(jù)等技術(shù)進行數(shù)據(jù)分析和預(yù)測,以便對業(yè)務(wù)運行狀況進行分析和預(yù)判。不同的分析工具與不同的流量采集方式適配,相互之間并不能兼容,這也導(dǎo)致市面上出現(xiàn)了很多流量分析工具,質(zhì)量參差不齊,在選擇時一定要慎重。選擇有效的流量采集方式,不僅可以節(jié)省開支,降低流量監(jiān)管成本,還能最大限度地利用采集的流量數(shù)據(jù)進行分析。
 
在數(shù)據(jù)中心網(wǎng)絡(luò)不斷發(fā)展壯大的過程中,流量采集面臨著不少的難題,但這方面的工作還要繼續(xù)去做,要懂得去適應(yīng),去解決問題,方法總比困難多?,F(xiàn)在的數(shù)據(jù)中心都在做精細化的運維,流量監(jiān)管是最為重要的一部分,早期那種部署個網(wǎng)管軟件獲取一些監(jiān)控節(jié)點信息已經(jīng)無法滿足了,要通過流量采集并進行后期的流量分析,將流量采集與各類分析應(yīng)用平臺聯(lián)動起來,從不同角度挖掘數(shù)據(jù)信息,對數(shù)據(jù)進行深入分析,支持運維業(yè)務(wù)發(fā)展。對數(shù)據(jù)中心網(wǎng)絡(luò)的運行狀態(tài)進行預(yù)判,提升數(shù)據(jù)中心網(wǎng)絡(luò)的運營效率。流量采集是流量分析體系的基礎(chǔ),一個覆蓋全面、合理有效的流量采集網(wǎng)絡(luò),有助于提高網(wǎng)絡(luò)流量的采集、過濾和分析效率,滿足不同角度的流量監(jiān)管要求,優(yōu)化網(wǎng)絡(luò)和業(yè)務(wù)性能指標(biāo),提高客戶體驗。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號