Logz.io提供了基于機器學(xué)習(xí)的日志分析

責(zé)任編輯:editor004

作者:Hrishikesh Barua

2016-11-22 11:56:59

摘自:INFOQ

該服務(wù)能夠從人類與日志數(shù)據(jù)的交互中獲得新的觀點,這些日志數(shù)據(jù)包括技術(shù)論壇上的討論內(nèi)容和公共代碼庫。Levy還指出:“在給出了對用戶關(guān)注的見解后,我們進而基于他 她對該見解的反饋情況對它們之間的相關(guān)性進行評估。

Logz.io提供了一種使用機器學(xué)習(xí)進行智能日志分析的托管服務(wù)。該服務(wù)能夠從人類與日志數(shù)據(jù)的交互中獲得新的觀點,這些日志數(shù)據(jù)包括技術(shù)論壇上的討論內(nèi)容和公共代碼庫。

DevOps團隊使用ELK這類日志分析工具中心化了日志的聚合和索引過程,但是現(xiàn)代應(yīng)用正快速地生成大量的日志和度量指標(biāo),日志的龐大規(guī)模使得日志分析工作難以順利進行。另一方面,所采集度量指標(biāo)的數(shù)量也在快速地增長,這導(dǎo)致傳統(tǒng)監(jiān)測工具只能用來做數(shù)據(jù)展示。數(shù)據(jù)在規(guī)模上的增長也導(dǎo)致了基于閾值的報警不再適用,這也引發(fā)了異常檢測系統(tǒng)的異軍突起,這些系統(tǒng)包括Anomaly.io、Datadog和SumoLogic,以及Etsy的Skyline這樣的開源系統(tǒng)。

相比異常檢測系統(tǒng)而言,Logz.io所提供的服務(wù)更進了一步,它給出了對異常情況的深層見解,這些見解是通過在人們的網(wǎng)絡(luò)交互數(shù)據(jù)上進行機器學(xué)習(xí)得出的。這些數(shù)據(jù)中包括在StackOverflow和Github這樣的網(wǎng)站上對類似異常情況的討論。如果單純地使用Google搜索異常情況,這常會出現(xiàn)大量的搜索結(jié)果,Logz.io是如何做到對相關(guān)結(jié)果的過濾的呢?InfoQ聯(lián)系了Logz.io公司的CEO和聯(lián)合創(chuàng)始人Tomer Levy,他對此做了詳述:

Logz.io使用了機器學(xué)習(xí)技術(shù)去理解線索的情境、線索所指的產(chǎn)品、是否有解決方案以及提問者對給出的方案是否滿意。我們還拿自有的用戶數(shù)據(jù)跟這些線索進行交叉引用。

此外,Levy還指出:“在給出了對用戶關(guān)注的見解后,我們進而基于他/她對該見解的反饋情況對它們之間的相關(guān)性進行評估。”這就實現(xiàn)了一種反饋閉環(huán),使得該服務(wù)系統(tǒng)可以與時俱進。

很多現(xiàn)代的軟件產(chǎn)品都是使用開源程序庫構(gòu)建的,因此大部分情況下在因特網(wǎng)上搜索這些產(chǎn)品的某個錯誤或異常都會給出搜索結(jié)果。但也應(yīng)考慮到在極少數(shù)情況下,還有一些產(chǎn)品是完全從頭構(gòu)建的,沒有使用任何公開可用的代碼。對此,Logz.io計劃在未來發(fā)布一種“非公開見解”,允許組織定義自己的異常和異常的相關(guān)細(xì)節(jié)。

Logz.io采用了Elasticsearch-Logstash-Kibana(ELK)技術(shù)棧作為后臺,提供的服務(wù)托管在Logz.io私有云上,這意味著日志數(shù)據(jù)必須要從各個應(yīng)用端傳輸?shù)皆撍接性浦?。對那些部署了自有ELK的組織來說,Logz.io提供了本地日志傳輸器,幫助這些組織將數(shù)據(jù)安全傳輸?shù)絃ogz.io云上。

作為對如何解決企業(yè)所關(guān)注的數(shù)據(jù)安全問題的回應(yīng),Levy說道:

在數(shù)據(jù)安全方面,我們投入大量精力在數(shù)據(jù)加密和全面的安全流程上。Logz.io聘請了安永會計師事務(wù)所對安全基礎(chǔ)設(shè)施和流程進行審計,并在近期通過了歐盟對SOC 2 II型報告和ISO-27001標(biāo)準(zhǔn)的合規(guī)審計。此外,公司的數(shù)據(jù)是在美國托管的。為確保遵守歐盟的法規(guī),基于歐盟的企業(yè)可以選擇將數(shù)據(jù)放在法蘭克福保存。

查看英文原文:Logz.io Offers Machine Learning Based Log Analysis

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號