Twitter本周宣布開源流量異常偵測(cè)工具Anomaly Detection,該工具可以發(fā)現(xiàn)那些能夠影響網(wǎng)站服務(wù)質(zhì)量的異常活動(dòng),例如流量擁堵或垃圾信息機(jī)器人。
Anomaly Detection是一個(gè)R語言程序包,Twitter通常會(huì)在重大新聞和體育賽事期間用Anomaly Detection掃描入站流量,發(fā)現(xiàn)那些使用僵尸賬號(hào)發(fā)送大量垃圾(營(yíng)銷)信息的機(jī)器人。
流量異常偵測(cè)figure_localglobal_anomalies
AnomalyDetection異常掃描
據(jù)Twitter透露,AnomalyDetection與Twitter去年10月開源的BreakoutDetection存在互補(bǔ)關(guān)系。
流量異常偵測(cè)對(duì)于號(hào)稱“地球脈搏”的Twitter來說非常具有挑戰(zhàn)性,因?yàn)閷?duì)流量進(jìn)行長(zhǎng)周期跨度(例如一年)的掃描分析時(shí),一些異常活動(dòng)往往會(huì)掩蓋掉。此外,流量異常的原因也各有不同,有的是健康的,例如重大新聞事件導(dǎo)致的流量異常,而有的是不好的,例如QPS(每秒查詢量)中point-in-time實(shí)時(shí)性下降可能意味著硬件或數(shù)據(jù)采集方面出了問題。
Twitter流量異常偵測(cè)-長(zhǎng)期figure_longterm
長(zhǎng)周期流量異常偵測(cè)
AnomalyDetection通過GNU公眾授權(quán)許可協(xié)議開源,目前可以在GitHub上下載到源碼。