12月3日早間消息，隨著移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)/傳感器等技術(shù)的發(fā)展，全球數(shù)據(jù)生產(chǎn)速度正在高速增長，信息已成為企業(yè)的戰(zhàn)略資產(chǎn)。而運營商作為網(wǎng)絡(luò)時代的數(shù)據(jù)交換中心，其網(wǎng)絡(luò)管道、業(yè)務(wù)平臺、支撐系統(tǒng)中每天都在產(chǎn)生大量有價值的數(shù)據(jù)，基于這些數(shù)據(jù)的商業(yè)智能（BI）應(yīng)用為運營商帶來了巨大機遇。

對此，中國移動研究院業(yè)務(wù)支撐所所長孫少陵日前在“Hadoop與大數(shù)據(jù)技術(shù)大會”上對于運營商的大數(shù)據(jù)商業(yè)智能探索進行了詳細介紹。

機遇與挑戰(zhàn)并存

如今不僅市場競爭和政策管制要求越來越多的數(shù)據(jù)被長期保存。對于企業(yè)而言，也越來越需要積累越來越多的信息資源。信息對其進行用戶行為分析、市場研究等活動有著重要意義。

通過分析用戶行為及偏好，可相應(yīng)改善用戶體驗；通過分析流量、流向變化及網(wǎng)絡(luò)日志，可優(yōu)化網(wǎng)絡(luò)質(zhì)量；通過對業(yè)務(wù)、資源及財務(wù)等各類數(shù)據(jù)的綜合分析，能快速準確確定公司管理和市場競爭策略；當然其更可刺激業(yè)務(wù)創(chuàng)新，在確保用戶隱私不被侵犯的前提下，可對數(shù)據(jù)進行加工，對外提供信息服務(wù)，從而提升企業(yè)價值。“未來中國移動可能會基于這些信息推出一些新業(yè)務(wù)，形成運營商新的競爭力。” 孫少陵透露。

然而，大數(shù)據(jù)也給運營商的商業(yè)智能系統(tǒng)帶來了諸多挑戰(zhàn)。在此方面三家運營商的狀況相差無幾。

首先，商業(yè)智能系統(tǒng)為分散建設(shè)，而運營商一般為兩級結(jié)構(gòu)、甚至三級結(jié)構(gòu)，分總部、省級、地市級。“比如經(jīng)營分析、信令監(jiān)測、綜合網(wǎng)絡(luò)分析、不良信息監(jiān)測、上網(wǎng)日志留存等大數(shù)據(jù)系統(tǒng)分專業(yè)建設(shè)，而其中部分系統(tǒng)又分省建設(shè)。”孫少陵談到，“如此分散的建設(shè)一方面造成資源重復(fù)建設(shè)及應(yīng)用重復(fù)開發(fā)，一些科學(xué)家和分析專家的數(shù)據(jù)資源也無法形成共享。”

其次，數(shù)據(jù)分散存儲，標準化程度比較低。目前不同系統(tǒng)的建設(shè)主體不盡相同，盡管集團有統(tǒng)一的數(shù)據(jù)模型標準，但最終在實施上總有一些差異。而數(shù)據(jù)模型的不統(tǒng)一，就造成了跨系統(tǒng)的綜合分析困難。

再次，目前運營商大部分建有以數(shù)據(jù)倉庫為核心的BI架構(gòu)。這一傳統(tǒng)數(shù)據(jù)倉庫采用小機加盤陣高性能一體機建設(shè)，成本非常高。整體來看，運營商的商業(yè)智能是以處理傳統(tǒng)的劃單、日志等結(jié)構(gòu)化數(shù)據(jù)來設(shè)計的。在上網(wǎng)日志等一些新型數(shù)據(jù)，包括圖像等非結(jié)構(gòu)化數(shù)據(jù)方面，目前的BI系統(tǒng)不具備能力處理。

此外，現(xiàn)今運營商的系統(tǒng)只對內(nèi)部提供服務(wù)，大量數(shù)據(jù)未能有效進行商業(yè)利用。而在數(shù)據(jù)進行商業(yè)利用之前，運營商必須先解決好用戶隱私保護問題。

集中化BI初步構(gòu)想

針對此種形勢，同時也考慮到未來商業(yè)智能系統(tǒng)將逐漸走向移動化，孫少陵認為，運營商可調(diào)整原來的兩級架構(gòu)為全網(wǎng)一級架構(gòu)，構(gòu)建數(shù)據(jù)集中、平臺統(tǒng)一的商業(yè)智能系統(tǒng)。同時將各系統(tǒng)數(shù)據(jù)進行統(tǒng)一處理和存儲，從而實現(xiàn)數(shù)據(jù)的標準化。

“通過數(shù)據(jù)集中化來實現(xiàn)各系統(tǒng)的綜合分析，也有利于快速地進行數(shù)據(jù)分析和決策支持。目前很多數(shù)據(jù)存是在二級、省內(nèi)或地市系統(tǒng)里，如果集團公司要進行數(shù)據(jù)分析和決策支持，往往需要省公司定期提供一些匯總數(shù)據(jù)。”孫少陵說。

但同時集中化商業(yè)智能也面臨著海量數(shù)據(jù)處理和存儲的壓力，包括數(shù)據(jù)規(guī)模大、數(shù)據(jù)處理復(fù)雜、混合負載多樣等多種挑戰(zhàn)。此時傳統(tǒng)的單一數(shù)據(jù)倉庫技術(shù)已難以滿足要求，大數(shù)據(jù)技術(shù)的引入勢在必行。

經(jīng)過綜合比較數(shù)據(jù)倉庫技術(shù)，Hadoop、NoSql、流式處理技術(shù)等各種大數(shù)據(jù)處理技術(shù)后，中移動研究院對于集中化的商業(yè)智能系統(tǒng)有了初步構(gòu)想。

在技術(shù)路線方面，選擇數(shù)據(jù)倉庫與Hadoop混搭的方式，借鑒關(guān)系型數(shù)據(jù)倉庫在傳統(tǒng)應(yīng)用支持方面以及在復(fù)雜查詢和分析方面的快速響應(yīng)能力，同時也借鑒了Hadoop的非結(jié)構(gòu)化數(shù)據(jù)處理能力以及存儲的低成本。

而為實現(xiàn)上層應(yīng)用更便捷地進行下層數(shù)據(jù)使用，將考慮未來實現(xiàn)透明訪問層。其將屏蔽Hadoop與數(shù)據(jù)倉庫的使用細節(jié)，讓用戶在使用這些數(shù)據(jù)時盡量無感知；在數(shù)據(jù)的ETL采集預(yù)處理環(huán)節(jié)，盡量采用Hadoop與分布式ETL的方式，提高數(shù)據(jù)轉(zhuǎn)換效率，同時降低成本。

另外，運營商龐大分散的組織架構(gòu)公司對商業(yè)智能的需求也比較多。因此中國移動將云計算引入到大數(shù)據(jù)（“大云”項目），未來形成一個商業(yè)智能的Pass平臺。此平臺會實現(xiàn)平臺建設(shè)和數(shù)據(jù)存儲的集中。而應(yīng)用開發(fā)可以讓各省公司和地市公司自行進行，再上載到平臺上分析結(jié)果。如此能很好地解決平臺集中化和應(yīng)用需求分散化的矛盾。