早在2015年初,Gartner就在《商業(yè)智能與分析平臺魔力象限》年度報(bào)告中說到:“傳統(tǒng)BI的市場份額領(lǐng)導(dǎo)者被新型BI廠商打亂。這些新型廠商讓更多的人成為了數(shù)據(jù)分析用戶,并創(chuàng)造了更高的商業(yè)價(jià)值。”
經(jīng)過2015一年的發(fā)展,傳統(tǒng)BI的頹勢愈發(fā)明顯。Gartner在2016年2月發(fā)布的《商業(yè)智能與分析平臺魔力象限》年度報(bào)告顯示:傳統(tǒng)BI廠商全部被驅(qū)除出了領(lǐng)導(dǎo)象限。一年的時(shí)間里,全球商業(yè)智能與分析行業(yè)市場到底發(fā)生了哪些劇變?這里,筆者將給出自己的解讀,同時(shí)奉上2016年《商業(yè)智能與分析平臺魔力象限》年度報(bào)告原文。
那么,在過去的這一年,全球商業(yè)智能與分析市場的變革發(fā)展到什么地步了?首先,讓我們對比一下Gartner分別在 2015年和2016年公布的商業(yè)智能與分析魔力象限。
2015年市場的三個(gè)劇變
從以上兩張魔力象限圖中,我們可以看出來2015和2016年商業(yè)智能與分析魔力象限存在三個(gè)劇變。
1. 傳統(tǒng)BI廠商幾乎全部被驅(qū)除出了領(lǐng)導(dǎo)者象限,包括IBM、SAP、SAS、Microstrategy等傳統(tǒng)BI巨頭無一幸免。
2. 2015年還處于領(lǐng)導(dǎo)者象限的Oracle已經(jīng)完全消失了,連利基象限都沒能保住。
3. Birst、Logi Analytics等處于挑戰(zhàn)者象限的BI廠商也被全部驅(qū)除。在Gartner分析師眼中,居然沒有一家廠商滿足挑戰(zhàn)者條件。
大幅改變的Gartner魔力象限報(bào)告,讓我們深切感受到了國際商業(yè)智能與分析行業(yè)市場的顛覆性變化。另外,Gartner將傳統(tǒng)BI巨頭重新打包到Gartner靜態(tài)報(bào)表魔力象限報(bào)告中,有興趣的朋友可以做深入研究。
2015年市場的發(fā)展概況
1. 探索式分析幾乎成為BI選型的唯一選擇。在Gartner商業(yè)智能與分析魔力象限報(bào)告中,分析師們給出了這樣的結(jié)論。由于Gartner商業(yè)智能與分析魔力象限報(bào)告只研究全球化廠商,所以無論收入規(guī)模多大,國內(nèi)BI廠商都無法進(jìn)入報(bào)告,進(jìn)入挑戰(zhàn)者或領(lǐng)導(dǎo)者象限更是無從說起。
2. 去中心化的探索式分析逐漸被放棄,良好的企業(yè)管控之下的探索式分析將成為主流。過去10年,部分業(yè)務(wù)用戶和數(shù)據(jù)分析師比較喜歡通過桌面分析軟件開展離線數(shù)據(jù)分析,這一過程為先下載企業(yè)數(shù)據(jù),再離線開展探索式分析。這種去中心化的探索式分析帶來了很大的回報(bào),也帶來了管理失控的巨大風(fēng)險(xiǎn)。Gartner分析師們在魔力象限報(bào)告中指出,IT驅(qū)動和業(yè)務(wù)驅(qū)動就像“鐘擺”的兩個(gè)極端,居于“鐘擺”中間位置的良好的企業(yè)管控之下的中心化的探索式分析將成為主流。
3. 云計(jì)算改變著企業(yè)IT建設(shè),但處于Gartner魔力象限報(bào)告領(lǐng)導(dǎo)者象限的BI廠商,收入無一例外不是On-Premise為主,SaaS為輔。我們認(rèn)為這是數(shù)據(jù)分析行業(yè)的特殊性使然:數(shù)據(jù)分析必須基于企業(yè)數(shù)據(jù),一般情況下企業(yè)數(shù)據(jù)在哪里數(shù)據(jù)分析就發(fā)生在哪里,而當(dāng)前90%以上的企業(yè)數(shù)據(jù)仍然存儲在大量的承載著核心業(yè)務(wù)的On-Premise系統(tǒng)中。隨著云端部署的緩慢上升,BI廠商的SaaS收入在總收入里的占比也會緩慢上升。我們沒有看到可信的研究報(bào)告,因而不知道該比例的具體年增速如何,不過相信10年內(nèi)會超過50%。
4. 伴隨著大數(shù)據(jù)、深度分析、自然語言查詢、搜索、流計(jì)算等技術(shù)的不斷進(jìn)步,商業(yè)智能與分析行業(yè)仍然處于巨大的技術(shù)變革中。越來越多沒有IT技術(shù)背景的業(yè)務(wù)用戶將有機(jī)會利用商業(yè)智能與分析平臺獲取洞察,這將深刻地改變各行各業(yè)的競爭態(tài)勢,那些有遠(yuǎn)見卓識的企業(yè)無比看重?cái)?shù)據(jù)的價(jià)值和洞察,會在5年之內(nèi)實(shí)現(xiàn)全員探索式分析,并通過數(shù)據(jù)化運(yùn)營智慧企業(yè)在未來10年取得優(yōu)勢地位。
5. 商業(yè)智能與分析是一個(gè)充分競爭的全球化市場,這對創(chuàng)業(yè)者的要求越來越高。商業(yè)智能與分析是一個(gè)充分競爭的全球化市場,創(chuàng)業(yè)伊始你在產(chǎn)品或營銷的能力是最羸弱的時(shí)候,你就不得不與IBM、SAP、Microsoft、Tableau等國際巨頭同臺競技。因此,在該領(lǐng)域的創(chuàng)業(yè)者除了需要技術(shù),更需要遠(yuǎn)見和洞察,以看清楚趨勢并持續(xù)投入。這樣,在趨勢成為主流的時(shí)候才可能處于優(yōu)勢地位。
6. 分析應(yīng)用市場將涌現(xiàn)巨大的創(chuàng)業(yè)機(jī)會。舉個(gè)例子,辦公軟件領(lǐng)域的幾個(gè)主流廠商共同推出了開放標(biāo)準(zhǔn)的文件格式,使用不同辦公軟件的用戶可以輕松分享生成的辦公文件。我們相信,在不久的將來數(shù)據(jù)接口將會更好地遵循開放標(biāo)準(zhǔn),而數(shù)據(jù)模型和分析模型的存儲也將擁有開放標(biāo)準(zhǔn)。在此基礎(chǔ)上,基于On-Premise和SaaS的數(shù)據(jù)模型和分析模型將有機(jī)會在全球市場進(jìn)行分享。最終,這將像App Store或Google Play一樣,形成巨大的分析應(yīng)用市場。
2016年商業(yè)智能與分析市場的發(fā)展趨勢
全球商業(yè)智能與分析市場的整體份額繼續(xù)擴(kuò)大。根據(jù)當(dāng)前Gartner對該領(lǐng)域的年度綜合增長率的預(yù)計(jì),市場增長率可能維持在2014年的5.8%,直至2019年。
然而,伴隨著購買模式和需求的變化,不高的增長率反映了一個(gè)處于轉(zhuǎn)變過程中的市場:購買決策持續(xù)從IT部門的領(lǐng)導(dǎo)轉(zhuǎn)換為業(yè)務(wù)線的領(lǐng)導(dǎo)和用戶,他們需要更敏捷和更靈活的個(gè)性化選擇——新準(zhǔn)則是先落地再擴(kuò)展?,F(xiàn)在與以往那種帶動企業(yè)兩位數(shù)增長的大規(guī)模的企業(yè)級交易截然不同,那時(shí)的IT部門掌握更多的預(yù)算,并對采購決策施加著更多影響。
在如此快速進(jìn)化的市場中,帶動商業(yè)智能與分析市場新增長的主要驅(qū)動力,正受到以下因素的影響:
1. 新供應(yīng)商持續(xù)出現(xiàn),使得市場上有更多創(chuàng)新的產(chǎn)品供買方挑選。在以后幾年,買方將從關(guān)注那些提供新型BI和分析產(chǎn)品的供應(yīng)商中獲益,他們有充足的機(jī)會去投資那些進(jìn)入市場的創(chuàng)新產(chǎn)品。如果買方需要試運(yùn)行大量的創(chuàng)新產(chǎn)品以及大量的供應(yīng)商參與到POC驗(yàn)證中,隨著時(shí)間累積,其不利之處在于機(jī)構(gòu)可能面臨技術(shù)負(fù)債——作為多個(gè)獨(dú)立解決方案所體現(xiàn)出的商業(yè)價(jià)值急速轉(zhuǎn)變?yōu)槿鄙賹υO(shè)計(jì)、實(shí)施和技術(shù)支持足夠關(guān)注的產(chǎn)品部署。在這個(gè)快速進(jìn)化的BI市場中,機(jī)構(gòu)需要形成正確策略和參考架構(gòu),用于評測各種可選的產(chǎn)品,以此降低他們的技術(shù)債務(wù),從而避免在未來產(chǎn)生較多的返工和再設(shè)計(jì)的問題。
2. 隨著越來越多的用戶驅(qū)動的數(shù)據(jù)分析平臺得以部署,監(jiān)管需求正持續(xù)增長,這將觸發(fā)IT部門以新的形式介入其中。最初,當(dāng)市場轉(zhuǎn)變時(shí),業(yè)務(wù)用戶感覺到有能力繞開IT部門通過自主采購的方式去使用能夠填補(bǔ)他們業(yè)務(wù)缺口的BI產(chǎn)品。隨著時(shí)間的推移,產(chǎn)品部署持續(xù)擴(kuò)大,用戶變得越來越多,使用場景變得越來越復(fù)雜——業(yè)務(wù)用戶與IT部門的合作又將重新展開,他們會協(xié)同開發(fā)出敏捷的流程去支持自服務(wù)數(shù)據(jù)分析的需求,即通過適度的企業(yè)級管控,去確保恰當(dāng)而負(fù)責(zé)任的使用范疇。
這將促成自服務(wù)數(shù)據(jù)準(zhǔn)備結(jié)合探索式分析產(chǎn)品的場景,提供敏捷而集中的使用方式去成功地替代傳統(tǒng)的使用方式,舊的方式往往缺乏敏捷性,而且也不支持IT部門與業(yè)務(wù)用戶間的協(xié)作開發(fā)。這與在這個(gè)行業(yè)多次發(fā)生的“鐘擺”現(xiàn)象相吻合,在這個(gè)行業(yè),最終用戶的實(shí)踐最終將轉(zhuǎn)向以IT為中心的方式的另一極端。在業(yè)務(wù)用戶生成的內(nèi)容急劇擴(kuò)張的背景下,對監(jiān)管的需求正在使鐘擺回歸至更注重企業(yè)級管控和協(xié)作的中間地帶。
3. 市場對智能的探索式分析的了解和接納會讓探索式分析獲取到更廣泛的用戶群體,新產(chǎn)品觸及的范圍和影響力也會隨之增加。在不需要建模和寫算法以及查詢的前提下,這些新出現(xiàn)的功能讓用戶能從越來越多的、復(fù)雜的、多結(jié)構(gòu)化的數(shù)據(jù)集里發(fā)現(xiàn)大量的隱藏模式。除了探索式分析,通過交互的可視化、搜索和自然語言查詢等技術(shù),業(yè)務(wù)用戶和分析師還能從深度分析中直接獲益(高亮和可視化諸如重要發(fā)現(xiàn)、相關(guān)性、集群、預(yù)測、異常值、反常、關(guān)聯(lián)、趨勢等結(jié)果)。
有些工具還會為用戶說明分析結(jié)果,例如生成自然語言的文本去突出顯示模式和闡釋洞察。這樣可以減少發(fā)現(xiàn)洞察的時(shí)間,也節(jié)省了手動探索和手動建模的時(shí)間開銷和專業(yè)技能要求。探索式分析并非替代了高級數(shù)據(jù)分析師和數(shù)據(jù)科學(xué)家,而是為他們增加了一群公民數(shù)據(jù)科學(xué)家。這些公民數(shù)據(jù)科學(xué)家?guī)椭麄儺a(chǎn)生了更多的設(shè)想,再隨之開展更細(xì)化的探索,數(shù)據(jù)學(xué)家可以幫著確認(rèn)最終結(jié)果。
4. 機(jī)構(gòu)從持續(xù)增長的多結(jié)構(gòu)化數(shù)據(jù)源中融合和獲得洞察的需求,將推動智能的自服務(wù)數(shù)據(jù)準(zhǔn)備和智能的探索式分析領(lǐng)域的持續(xù)創(chuàng)新。市場需要更加強(qiáng)大的軟件功能,包括自動提取、推論、濃縮和創(chuàng)建搜索索引訪問新數(shù)據(jù)源。以手動方式去完成這些工作將會難以匹配數(shù)據(jù)多樣性和復(fù)雜度的增長,隨著時(shí)間的推移這種增長將是指數(shù)級的。同時(shí),通過自動的模式探索和洞察發(fā)現(xiàn),機(jī)構(gòu)可以擴(kuò)大分析規(guī)模,也可以讓更多的用戶群體可以受益于分析洞察功能。
5. 通過自然語言查詢,基于搜索的探索式分析將讓更多的用戶獲益。由于BI和分析平臺對自然語言查詢支持得越來越好,更多的非技術(shù)用戶能以對話提問的方式來分析數(shù)據(jù),新用戶將更有可能參與到利用探索式分析中。業(yè)務(wù)驅(qū)動的自然語言查詢需要底層的基于多結(jié)構(gòu)化數(shù)據(jù)的搜索功能,這一領(lǐng)域的進(jìn)展將不斷提升該功能的易用性和可信度。
6. 市場將不斷擴(kuò)張且更加成熟,這將為機(jī)構(gòu)創(chuàng)造更多的機(jī)會去購買或銷售分析應(yīng)用。一個(gè)活躍的市場可以讓買家和賣家匯聚起來交換分析應(yīng)用、聚合數(shù)據(jù)源、自定義可視化和算法,這將增加對BI和分析領(lǐng)域的需求,并推動其未來的增長。成熟起來的市場將為BI供應(yīng)商們提供新的銷售渠道,基于他們平臺的分析應(yīng)用可以在自有的渠道和合作伙伴的渠道銷售。這一成熟市場的主要好處在于這是一個(gè)面向終端用戶的市場,他們幾乎可以獲得想要的任何分析應(yīng)用,以用于內(nèi)部解決方案和流程的開發(fā)。
7. 為更好地支持物聯(lián)網(wǎng),機(jī)構(gòu)需要支持實(shí)時(shí)動態(tài)和流數(shù)據(jù)抓取。為了使機(jī)構(gòu)能處理在這個(gè)互聯(lián)世界中由設(shè)備、傳感器和人產(chǎn)生的大量數(shù)據(jù),機(jī)構(gòu)必須在捕捉和加工這種數(shù)據(jù)上進(jìn)行投資。BI和分析市場的競爭者們也需要在類似方面進(jìn)行投資——讓買家在同一平臺中合并實(shí)時(shí)動態(tài)和流數(shù)據(jù)以及其他來源的數(shù)據(jù),去開發(fā)新一代的具備很大影響的分析應(yīng)用,讓用戶能利用這種實(shí)時(shí)洞察能力。
附:Gartner2016年商業(yè)智能和分析平臺魔力象限報(bào)告
概述
這幾年,全球商業(yè)智能與分析平臺市場經(jīng)歷了從“IT主導(dǎo)的報(bào)表模式”往“業(yè)務(wù)主導(dǎo)的自服務(wù)分析模式”轉(zhuǎn)折的臨界點(diǎn)。最近發(fā)生的采購大多是現(xiàn)代的、以業(yè)務(wù)用戶為中心的自服務(wù)數(shù)據(jù)分析平臺,全新市場觀念的形成,深刻地改變了全球數(shù)據(jù)分析市場格局。
戰(zhàn)略規(guī)劃設(shè)想(到2018年)
1. 作為轉(zhuǎn)向部署現(xiàn)代BI平臺的一部分,大多數(shù)業(yè)務(wù)用戶和分析師都借助自服務(wù)工具進(jìn)行數(shù)據(jù)準(zhǔn)備,即自服務(wù)數(shù)據(jù)準(zhǔn)備。
2. 大多數(shù)獨(dú)立自服務(wù)數(shù)據(jù)準(zhǔn)備工具將擴(kuò)展為一站式分析平臺,或者作為一部分功能集成到已有的分析平臺。
3. 智能的、企業(yè)級管控的、支持Hadoop的、支持搜索和可視化的探索式分析會打包到下一代數(shù)據(jù)分析平臺中,一站式平臺還包含自服務(wù)數(shù)據(jù)準(zhǔn)備和自然語言生成功能。
基于以下5個(gè)使用場景對供應(yīng)商進(jìn)行評估:
1.敏捷且中心化的IT驅(qū)動的交付。支持敏捷且中心化的IT驅(qū)動的BI交付?;谄脚_自有的數(shù)據(jù)處理能力,IT部門能實(shí)現(xiàn)從數(shù)據(jù)到內(nèi)容的交付,整個(gè)工作流程處于良好的企業(yè)級管控之下。
2.去中心化的分析。支持業(yè)務(wù)用戶實(shí)現(xiàn)從數(shù)據(jù)到自服務(wù)分析的工作流程。
3.良好管控下的探索式分析。在良好管控之下,支持業(yè)務(wù)用戶基于數(shù)據(jù)進(jìn)行自服務(wù)分析,再生成可復(fù)用的內(nèi)容,再提升為系統(tǒng)級可復(fù)用的內(nèi)容。
4.嵌入式BI。支持將數(shù)據(jù)轉(zhuǎn)化為可嵌入到其他流程或應(yīng)用中的BI內(nèi)容。
5.公網(wǎng)部署。這類似第一個(gè)使用場景,但目標(biāo)用戶變成了外部客戶、公眾部門,或者普通公民。
基于以下14條標(biāo)準(zhǔn)對供應(yīng)商進(jìn)行評估:
基礎(chǔ)構(gòu)架
1.BI平臺管理。具備擴(kuò)展性、性能優(yōu)化、高可用性,以及高容災(zāi)性等功能。
2.云BI。具備平臺即服務(wù)和分析應(yīng)用即服務(wù)的功能,以實(shí)現(xiàn)分析應(yīng)用的開發(fā)、部署和管理,且支持云端部署和本地部署兩種形式。
3.安全性和用戶管理。具備保證平臺的安全性、可監(jiān)控用戶行為、可審計(jì)平臺的訪問和使用狀況等功能。
4.連接多數(shù)據(jù)源。讓用戶能訪問結(jié)構(gòu)和非結(jié)構(gòu)化的數(shù)據(jù)內(nèi)容,這些數(shù)據(jù)存儲在各種各樣的平臺中,既可能在云端也可能在本地部署。
數(shù)據(jù)管理
5.元數(shù)據(jù)管理。讓所有用戶能分享同一個(gè)語義模型和元數(shù)據(jù)。利用強(qiáng)大且集中的功能,管理員能搜索、捕獲、存儲、復(fù)用各種元數(shù)據(jù),還能把業(yè)務(wù)用戶創(chuàng)建的數(shù)據(jù)模型提升為系統(tǒng)級的數(shù)據(jù)模型。
6.ETL和數(shù)據(jù)存儲。具備ETL功能,可接入、融合、轉(zhuǎn)換、加載數(shù)據(jù)至自有存儲層,還能索引數(shù)據(jù),管理數(shù)據(jù)加載,或通過任務(wù)計(jì)劃更新數(shù)據(jù)。
7.自服務(wù)數(shù)據(jù)準(zhǔn)備。通過拖拽式操作,用戶可融合不同來源的數(shù)據(jù),并創(chuàng)造分析模型,例如,自定義指標(biāo)、集合、分組、層級等等,更高級的功能還包括自動語義識別、自動關(guān)聯(lián)、自動可視化,數(shù)據(jù)分層,數(shù)據(jù)血統(tǒng)、多結(jié)構(gòu)化的數(shù)據(jù)融合等。
分析和內(nèi)容創(chuàng)建
8.內(nèi)嵌的深度分析。讓用戶能輕松接入深度分析功能。除了平臺自有的深度分析功能,用戶也能導(dǎo)入或集成平臺外部的分析模型。
9.分析型儀表盤。支持制作高度可交互的儀表盤和內(nèi)容。當(dāng)用戶訪問這些儀表盤時(shí),可以進(jìn)行探索式分析、深度分析、地理分析等。
10.可視化的探索式分析。支持通過操作圖表的顏色、亮度、大小、形狀等手法去展現(xiàn)數(shù)據(jù)。這也包括一系列的可視化選項(xiàng),包括餅圖、柱形圖、線圖、熱量圖、樹狀圖、地圖,散點(diǎn)圖和其他特殊的圖表。這些工具讓用戶能以可視化的交互方式來分析數(shù)據(jù)。
11.支持移動端。支持將內(nèi)容交付給移動設(shè)備,這既可以是發(fā)布模式也可以是交互模式,還支持移動設(shè)備自有的各種功能,例如觸屏、拍照、地理位置、自然語言查詢等。
知識分享
12.嵌入式分析。通過SDK和API接口,以開放標(biāo)準(zhǔn)支持創(chuàng)建和修改分析內(nèi)容,以嵌入到其他業(yè)務(wù)流程、應(yīng)用,或門戶中。平臺既可以在應(yīng)用內(nèi)也可以在應(yīng)用外支持這些功能,但必須簡單而無縫地集成到應(yīng)用內(nèi),讓用戶無需在不同應(yīng)用之間來回切換。平臺還讓用戶能選擇需要嵌入的業(yè)務(wù)流程。
13.發(fā)布分析內(nèi)容。讓用戶能以各種輸出形式和分發(fā)方式對分析內(nèi)容進(jìn)行發(fā)布、部署、操作。平臺應(yīng)支持內(nèi)容搜索、故事敘述、任務(wù)計(jì)劃、預(yù)警等功能。
14.協(xié)作與社交。讓用戶能以帖子、聊天、注釋等方式分享并討論基礎(chǔ)數(shù)據(jù)、分析方法、分析內(nèi)容等。
圖:Gartner2016年商業(yè)智能與分析平臺魔力象限