對于企業(yè)的業(yè)務(wù)人員,特別是數(shù)據(jù)科學(xué)家人群來說,Informatica的Intelligent Data Platform不僅是一個智能化的大數(shù)據(jù)預(yù)處理工具,而且可以像業(yè)務(wù)系統(tǒng)一樣為企業(yè)帶來直接的價值。
互聯(lián)網(wǎng)企業(yè)通常會強(qiáng)調(diào)細(xì)節(jié)和微創(chuàng)新,把產(chǎn)品的某一項(xiàng)功能做到極致,借此牢牢吸引大量用戶。但是企業(yè)級廠商則不同,它們更傾向于將產(chǎn)品平臺化。平臺化的好處是可以把盡量多的功能集成在一起,方便部署與管理,而且可以借平臺屏蔽底層架構(gòu)的復(fù)雜性。軟件廠商尤喜平臺化,比如數(shù)據(jù)保護(hù)廠商有數(shù)據(jù)保護(hù)和統(tǒng)一管理平臺,大數(shù)據(jù)產(chǎn)品廠商有大數(shù)據(jù)處理通用平臺等。
今年5月,獨(dú)立企業(yè)數(shù)據(jù)集成軟件提供商Informatica在一年一度的Informatica World上發(fā)布了Intelligent Data Platform。作為下一代數(shù)據(jù)平臺,Intelligent Data Platform可以在正確的時間提供正確的數(shù)據(jù),并通過鋪設(shè)一條虛擬數(shù)據(jù)的高速公路,將人員、位置、設(shè)備以更加智能化的方式緊密聯(lián)系在一起,為大數(shù)據(jù)應(yīng)用提供更好的支持。
提升智能化水平
Intelligent Data Platform包含三大核心:第一,Informatica Vibe虛擬數(shù)據(jù)機(jī)。Vibe是一種嵌入式的數(shù)據(jù)處理引擎,可以提供針對任何位置、格式或來源的數(shù)據(jù)的普遍的訪問能力,且支持客戶“一次映射,多次部署”;第二,數(shù)據(jù)基礎(chǔ)設(shè)施。數(shù)據(jù)基礎(chǔ)設(shè)施層能夠在任何規(guī)模的環(huán)境中系統(tǒng)、連續(xù)地交付干凈、安全、互連的數(shù)據(jù),從部門級到企業(yè)級,從事務(wù)數(shù)據(jù)到大數(shù)據(jù),從內(nèi)部部署到云端皆可;第三,數(shù)據(jù)智能。Informatica獨(dú)創(chuàng)的數(shù)據(jù)智能層將為客戶重新定位數(shù)據(jù)基礎(chǔ)設(shè)施層所創(chuàng)建的元數(shù)據(jù),從而提高數(shù)據(jù)的可見性,改善決策過程,并提升運(yùn)營的智能化水平。
Intelligent Data Platform能夠以正確的方式將正確的數(shù)據(jù)傳遞給相關(guān)的人員或發(fā)送到正確的位置。Informatica公司大中國區(qū)首席產(chǎn)品顧問但彬歸納了Intelligent Data Platform的主要功能:Informatica可以在正確的時間提供最高質(zhì)量的正確數(shù)據(jù);Informatica能夠?qū)?shù)據(jù)交付到正確的位置,包括企業(yè)內(nèi)部或云端;Informatica 可以將數(shù)據(jù)交付給正確的人員,無論是IT人員、分析師、數(shù)據(jù)管理員,還是業(yè)務(wù)用戶;Informatica可以將數(shù)據(jù)交付給正確的設(shè)備,包括聯(lián)網(wǎng)設(shè)備或自動化決策系統(tǒng);Informatica能以正確的方式交付數(shù)據(jù),并確保數(shù)據(jù)安全可靠、經(jīng)過授權(quán)且已獲得保護(hù)。
Intelligent Data Platform在Informatica World 2014大會上一發(fā)布,即受到了與會的Informatica的用戶的普遍歡迎。Informatica在大會上展示了一系列Intelligent Data Platform的應(yīng)用案例,包括自助服務(wù)數(shù)據(jù)集成(Springbok 項(xiàng)目)、數(shù)據(jù)導(dǎo)向型安全管理(Secure@Source 項(xiàng)目)和360 度全方位業(yè)務(wù)實(shí)體(MDM 10)等。目前,Intelligent Data Platform還沒有完全商品化。之所以在Informatica World 2014提前發(fā)布Intelligent Data Platform,Informatica是想在產(chǎn)品正式發(fā)布前先聽聽用戶的反饋,然后根據(jù)用戶的反饋進(jìn)一步對Intelligent Data Platform進(jìn)行完善,再擇機(jī)發(fā)布商用化的版本。這種在產(chǎn)品正式發(fā)布前先與客戶進(jìn)行交流已經(jīng)成了Informatica開發(fā)新產(chǎn)品的一個慣例。
為數(shù)據(jù)科學(xué)家服務(wù)
有業(yè)內(nèi)人士指出,大數(shù)據(jù)已經(jīng)發(fā)展到一個新的階段,仍然按照傳統(tǒng)商業(yè)智能(BI)的思路和方法解決大數(shù)據(jù)的問題已經(jīng)不合時宜。傳統(tǒng)BI采用包括數(shù)據(jù)采集、存儲、處理、分析和呈現(xiàn)等環(huán)節(jié)在內(nèi)的縱向數(shù)據(jù)處理方式,而新的大數(shù)據(jù)處理和利用方式則是分布式、扁平化的。
傳統(tǒng)的數(shù)據(jù)處理方式是模式化的,用戶需要什么,廠商就提供什么樣的解決方案,但這些解決方案通常是固定的、不能靈活擴(kuò)展的。如果用戶提出了新的要求,想在原有系統(tǒng)中增添新功能或進(jìn)行修改會十分麻煩。而Intelligent Data Platform可以解決這一問題,因?yàn)樗且粋€智能化的平臺,可以為集中到“數(shù)據(jù)湖”中的各種類型的數(shù)據(jù)建立相關(guān)性,然后再提供給業(yè)務(wù)應(yīng)用或通過接口與分析工具銜接。
在進(jìn)行大數(shù)據(jù)處理時,傳統(tǒng)的數(shù)據(jù)庫和分析技術(shù)還有用嗎?但彬認(rèn)為,傳統(tǒng)技術(shù)與新技術(shù)之間不是誰對誰錯的問題,而是要針對不同的應(yīng)用選擇適合的技術(shù)。比如,銀行常見的商業(yè)行為分析仍然可以采用數(shù)據(jù)庫技術(shù),而一些預(yù)測性的大數(shù)據(jù)挖掘項(xiàng)目則要采用新的大數(shù)據(jù)處理技術(shù),呈現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián)性。
“Intelligent Data Platform給用戶帶來的最大改變是解放了IT人員。原來IT人員既要做業(yè)務(wù)也要搞技術(shù)。未來,我們希望IT人員可以把工作重心放在做開發(fā)和系統(tǒng)集成上,而業(yè)務(wù)人員可以基于Intelligent Data Platform將業(yè)務(wù)描述得更清楚,并且可以自動生成一些規(guī)則。”但彬介紹說。
支撐Intelligent Data Platform的底層技術(shù)是Informatica的Vibe虛擬數(shù)據(jù)機(jī),它也是所有Informatica產(chǎn)品的基礎(chǔ)引擎。在這個引擎之上,Informatica可以幫助客戶進(jìn)行數(shù)據(jù)集成,提升數(shù)據(jù)質(zhì)量。Intelligent Data Platform是一個集成化的平臺,從IT的角度講,其實(shí)施肯定會存在一些挑戰(zhàn),但它確實(shí)能給企業(yè)的業(yè)務(wù)帶來更多價值。“IT人員可以完成數(shù)據(jù)的抽取和存儲,然后提交數(shù)據(jù)用于分析。”但彬告訴記者,“但是企業(yè)的業(yè)務(wù)人員或數(shù)據(jù)科學(xué)家可以標(biāo)記數(shù)據(jù)的質(zhì)量、發(fā)現(xiàn)問題,從數(shù)據(jù)中發(fā)現(xiàn)更多有價值的東西。所以,我們希望業(yè)務(wù)人員能借助Intelligent Data Platform更多地接觸和利用數(shù)據(jù),而不僅僅是IT人員。”
在推出Intelligent Data Platform的同時,Informatica還提出了“數(shù)據(jù)湖”的概念。所謂數(shù)據(jù)湖,就是將不同來源的數(shù)據(jù)存放在一起,但并不是將未經(jīng)處理的數(shù)據(jù)簡單地堆放在一起,而是要將這些數(shù)據(jù)進(jìn)行預(yù)先處理,建立數(shù)據(jù)之間的聯(lián)系,這更有利于日后的大數(shù)據(jù)處理。
大數(shù)據(jù)是業(yè)務(wù)系統(tǒng)
傳統(tǒng)的數(shù)據(jù)處理與分析都是IT人員的事,因此IT人員必須掌握豐富的數(shù)學(xué)知識和計算機(jī)技術(shù)。但是,大數(shù)據(jù)的最終目標(biāo)是為企業(yè)業(yè)務(wù)和應(yīng)用服務(wù),而IT人員通常不太了解業(yè)務(wù),這就造成了大數(shù)據(jù)技術(shù)與應(yīng)用的脫節(jié)。但彬表示,Intelligent Data Platform最理想的使用者是企業(yè)的業(yè)務(wù)人員或數(shù)據(jù)科學(xué)家,因?yàn)樗麄兏私鈽I(yè)務(wù)需求,可以利用Intelligent Data Platform更好地解讀大數(shù)據(jù)分析結(jié)果。
大數(shù)據(jù)處理系統(tǒng)是一個IT工具,還是業(yè)務(wù)系統(tǒng)呢?不同的定位決定了大數(shù)據(jù)處理系統(tǒng)的不同“命運(yùn)”。“中國的很多客戶通常將大數(shù)據(jù)處理系統(tǒng)當(dāng)成一個IT工具來使用。從IT運(yùn)維的角度來看,IT人員只負(fù)責(zé)保證系統(tǒng)的正常運(yùn)行、開關(guān),雖然偶爾也會編寫一些代碼,但畢竟不能從業(yè)務(wù)的角度充分利用大數(shù)據(jù)處理系統(tǒng)。在這種情況下,大數(shù)據(jù)處理系統(tǒng)只是一個IT支撐和保障系統(tǒng),而不能直接給企業(yè)帶來商業(yè)價值。”但彬介紹說,“如果將大數(shù)據(jù)處理系統(tǒng)當(dāng)成一個業(yè)務(wù)系統(tǒng)來對待,那么業(yè)務(wù)人員就可以利用這個平臺更好地挖掘數(shù)據(jù),給業(yè)務(wù)帶來直接的價值。”
據(jù)記者了解,一個具有單一功能的大數(shù)據(jù)產(chǎn)品可能需要幾十萬元,而一套比較完善的大數(shù)據(jù)整體解決方案的價格可能達(dá)到上千萬元。如果不能充分發(fā)揮大數(shù)據(jù)產(chǎn)品應(yīng)有的價值,那么對企業(yè)來說無疑是一種巨大的浪費(fèi)。但彬表示:“如果企業(yè)只把大數(shù)據(jù)產(chǎn)品當(dāng)成一個IT工具,那么可能不會持續(xù)地對產(chǎn)品進(jìn)行升級,也不會購買廠商的專業(yè)服務(wù),一旦遇到解決不了的問題,就可能輕易放棄。”
Informatica曾經(jīng)帶國內(nèi)某銀行的技術(shù)人員去美國與Informatica的客戶交流。讓但彬吃驚的是,美國客戶參與交流的全是公司的業(yè)務(wù)人員,講的全是業(yè)務(wù)系統(tǒng)如何運(yùn)行。參與交流的中國客戶全是技術(shù)人員,想了解的是美國企業(yè)如何構(gòu)建一個大數(shù)據(jù)系統(tǒng),而不太關(guān)心系統(tǒng)如何運(yùn)行和如何給企業(yè)帶來價值。如此強(qiáng)烈的反差給中國的用戶提了一個醒:第一,部署大數(shù)據(jù)應(yīng)用應(yīng)該以業(yè)務(wù)為中心和出發(fā)點(diǎn);第二,企業(yè)最好自己主導(dǎo)大數(shù)據(jù)系統(tǒng)的部署與應(yīng)用,因?yàn)槠髽I(yè)最了解自身的業(yè)務(wù)需求,可以更充分地利用大數(shù)據(jù)平臺,提高數(shù)據(jù)分析的效率。