引言:在當(dāng)前的大數(shù)據(jù)時(shí)代下，之所以要區(qū)分大數(shù)據(jù)應(yīng)用與BI(商業(yè)智能)，是因?yàn)榇髷?shù)據(jù)應(yīng)用與BI、數(shù)據(jù)挖掘等，并沒(méi)有一個(gè)相對(duì)完整的認(rèn)知。

BI(BusinessIntelligence)即商務(wù)智能，它是一套完整的解決方案，用來(lái)將企業(yè)中現(xiàn)有的數(shù)據(jù)進(jìn)行有效的整合，快速準(zhǔn)確的提供報(bào)表并提出決策依據(jù)，幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營(yíng)決策。

伴隨著B(niǎo)I的發(fā)展，是ETL，數(shù)據(jù)集成平臺(tái)等概念的提出。ETL，Extraction Transformation Loading，數(shù)據(jù)提取、轉(zhuǎn)換和加載，數(shù)據(jù)集成平臺(tái)主要功能對(duì)各種業(yè)務(wù)數(shù)據(jù)進(jìn)行抽取和相關(guān)轉(zhuǎn)化，以此來(lái)滿足BI、數(shù)據(jù)倉(cāng)庫(kù)對(duì)數(shù)據(jù)格式和內(nèi)容挖掘的要求。

數(shù)據(jù)集成平臺(tái)的基礎(chǔ)工作與ETL有很大的相似性，其主要功能是實(shí)現(xiàn)不同系統(tǒng)不同格式數(shù)據(jù)地抽取，并且按照目標(biāo)需求轉(zhuǎn)化成為相應(yīng)的格式。數(shù)據(jù)集成開(kāi)始是點(diǎn)對(duì)點(diǎn)的，慢慢地發(fā)現(xiàn)這種模式對(duì)于系統(tǒng)之間，不同所有權(quán)的企業(yè)數(shù)據(jù)流向以及數(shù)據(jù)標(biāo)準(zhǔn)控制很難，為此，誕生了對(duì)統(tǒng)一企業(yè)數(shù)據(jù)平臺(tái)的需求，來(lái)實(shí)現(xiàn)企業(yè)級(jí)之間的數(shù)據(jù)交互。

數(shù)據(jù)集成平臺(tái)就像網(wǎng)絡(luò)中Hub，可以連接所有應(yīng)用系統(tǒng)，實(shí)現(xiàn)系統(tǒng)之間數(shù)據(jù)的互通有無(wú)。數(shù)據(jù)集成平臺(tái)以BI、數(shù)據(jù)倉(cāng)庫(kù)需求而產(chǎn)生，現(xiàn)在已經(jīng)跨越了最初的需求，上升到了一個(gè)更高的階段。

如今大數(shù)據(jù)應(yīng)用更多關(guān)注非結(jié)構(gòu)化數(shù)據(jù)，更多談?wù)摶ヂ?lián)網(wǎng)，Twitter、Facebook、博客等非結(jié)構(gòu)化數(shù)據(jù)，如此理解大數(shù)據(jù)應(yīng)用，顯然就有些走偏了。結(jié)構(gòu)化數(shù)據(jù)也屬于大數(shù)據(jù)，且呈現(xiàn)出相同的特點(diǎn)和特征，如數(shù)據(jù)量大，增長(zhǎng)越來(lái)越快，對(duì)數(shù)據(jù)處理要求高等。

結(jié)構(gòu)化數(shù)據(jù)是廣義大數(shù)據(jù)中含金量或者價(jià)值密度最高的一部分?jǐn)?shù)據(jù)，與之相比，非結(jié)構(gòu)化數(shù)據(jù)含金量高但價(jià)值密度低。在Hadoop平臺(tái)出現(xiàn)之前，沒(méi)有人談?wù)摯髷?shù)據(jù)。數(shù)據(jù)應(yīng)用主要是結(jié)構(gòu)化數(shù)據(jù)，多采用IBM、HP等老牌廠商的小型機(jī)或服務(wù)器設(shè)備。

采用傳統(tǒng)方法處理這些價(jià)值密度低的非結(jié)構(gòu)化數(shù)據(jù)，被認(rèn)為是不值得的，因?yàn)槠洚a(chǎn)出實(shí)在是有限。Hadoop平臺(tái)出現(xiàn)之后，提供了一種開(kāi)放的、廉價(jià)的、基于普通商業(yè)硬件的平臺(tái)，其核心是分布式大規(guī)模并行處理，從而為非結(jié)構(gòu)化數(shù)據(jù)處理創(chuàng)造條件。

大數(shù)據(jù)應(yīng)用的數(shù)據(jù)來(lái)源應(yīng)該包括結(jié)構(gòu)化數(shù)據(jù)，如各種數(shù)據(jù)庫(kù)、各種結(jié)構(gòu)化文件、消息隊(duì)列和應(yīng)用系統(tǒng)數(shù)據(jù)等，其次才是非結(jié)構(gòu)化數(shù)據(jù)，又可以進(jìn)一步細(xì)分為兩部分，一是社交媒體，如Twitter、Facebook、博客等產(chǎn)生的數(shù)據(jù)，包括用戶點(diǎn)擊的習(xí)慣/特點(diǎn)，發(fā)表的評(píng)論，評(píng)論的特點(diǎn)，網(wǎng)民之間的關(guān)系等，這些都構(gòu)成了大數(shù)據(jù)來(lái)源。另外一部分?jǐn)?shù)據(jù)，也是數(shù)據(jù)量比較大的數(shù)據(jù)，就是機(jī)器設(shè)備以及傳感器所產(chǎn)生的數(shù)據(jù)。以電信行業(yè)為例，CDR、呼叫記錄，這些數(shù)據(jù)都屬于原始傳感器數(shù)據(jù)，主要來(lái)自路由器或者基站。此外，手機(jī)的置傳感器，各種手持設(shè)備、門(mén)禁系統(tǒng)，攝像頭、ATM機(jī)等，其數(shù)據(jù)量也非常巨大。

對(duì)于分析大數(shù)據(jù)的工具，目前所有的分析工具都側(cè)重于結(jié)構(gòu)化分析，例如針對(duì)社交媒體評(píng)論方向的分析，根據(jù)特定的詞頻或者語(yǔ)義，通過(guò)統(tǒng)計(jì)正面/負(fù)面評(píng)論的比例，來(lái)確定評(píng)論性質(zhì)。如果有一個(gè)應(yīng)用系統(tǒng)是接收結(jié)構(gòu)化數(shù)據(jù)的，例如一個(gè)分析系統(tǒng)，接收這些語(yǔ)義就可以便于分析。

讓大數(shù)據(jù)應(yīng)用落地，其中的關(guān)鍵在于與行業(yè)應(yīng)用的深度融合。

公安行業(yè)的視頻影像處理是一個(gè)特定應(yīng)用領(lǐng)域，傳統(tǒng)BI、ETL工具拿這些數(shù)據(jù)沒(méi)有辦法，采用分布式Hadoop進(jìn)行處理能夠帶來(lái)很好的效益，因?yàn)镠adoop可以處理數(shù)據(jù)量足夠大。公安行業(yè)實(shí)際上已采集了大量視頻影像數(shù)據(jù)，利用這些數(shù)據(jù)，可以追蹤一個(gè)嫌疑犯的行蹤，什么時(shí)間在全國(guó)哪些地區(qū)出現(xiàn)過(guò)。這些應(yīng)用不可能單純依靠人的力量，需要借助人臉識(shí)別、圖像識(shí)別技術(shù)、模式處理，數(shù)據(jù)壓縮等技術(shù)，需要海量處理軟件，抓出相關(guān)特征，幫助公安人員提高工作效率。

在電信行業(yè)，計(jì)費(fèi)系統(tǒng)實(shí)際上是對(duì)各種數(shù)據(jù)進(jìn)行整合后的結(jié)果，是一個(gè)縮小的數(shù)據(jù)。借助大數(shù)據(jù)應(yīng)用，運(yùn)營(yíng)商可以原始大數(shù)據(jù)進(jìn)行分析，例如分析傳感器數(shù)據(jù)是否有異常，從而判斷設(shè)備異常等，這些都是一些用傳統(tǒng)BI工具無(wú)法實(shí)現(xiàn)的分析，其結(jié)果往往會(huì)出乎意料，幫助運(yùn)營(yíng)商提高服務(wù)水平以及用戶的滿意度。

在互聯(lián)網(wǎng)行業(yè)，通過(guò)分析手機(jī)上網(wǎng)軌跡，可以分析了解客戶群，了解用戶的偏好，此外，獲取地理位置的信息，也具有特定價(jià)值。

D1Net評(píng)論：

綜上，從這些行業(yè)大數(shù)據(jù)應(yīng)用分析來(lái)看，一個(gè)是視頻影像處理，一個(gè)是日志分析，另外一個(gè)是處理特定文件格式的分析處理，彼此之間顯然沒(méi)有任何通用性的特點(diǎn)，其共同點(diǎn)就是利用了廉價(jià)的大數(shù)據(jù)處理平臺(tái)。