《企業(yè)網(wǎng)D1Net》9月1日訊
當(dāng)下大數(shù)據(jù)之熱使得技術(shù)界對(duì)Hadoop的話題熱火朝天。但在日常工作中,企業(yè)往往還是遵循既有模式,對(duì)于Hadoop到底能否真正幫到企業(yè)的應(yīng)用依然心存顧慮。Hadoop是不是很年輕?這個(gè)開源的事物能否符合公司業(yè)務(wù)級(jí)的嚴(yán)謹(jǐn)要求?有沒有企業(yè)真的應(yīng)用過?一系列問題縈繞人們心頭。這可以理解,畢竟任何一個(gè)新生事物出來都要有一個(gè)接受過程 。
對(duì)于Hadoop,其實(shí)這些都不是問題。專業(yè)人士都知道,Hadoop到現(xiàn)在已有15個(gè)年頭,這對(duì)于一個(gè)實(shí)用技術(shù)的穩(wěn)定發(fā)展已足夠長久。 事實(shí)上,雖然“大數(shù)據(jù)”一詞才出來二三年,但它實(shí)際指稱的海量的、多類型的數(shù)據(jù)現(xiàn)象早就有了,不但在互聯(lián)網(wǎng)領(lǐng)域,更在工業(yè)、商業(yè)、通信、金融、傳媒等存在久遠(yuǎn)。比如,生產(chǎn)線上巨量傳感器數(shù)據(jù)的接收分析、通信系統(tǒng)全程全網(wǎng)的實(shí)時(shí)日志文件采集與分析、醫(yī)療系統(tǒng)密集數(shù)據(jù)采集與分析從而幫助快速的科學(xué)診斷……所有這些都需要新型的數(shù)據(jù)處理技術(shù)來支撐。Hadoop在這些領(lǐng)域突顯了強(qiáng)大競爭力,并在國內(nèi)外的相關(guān)實(shí)踐中獲得廣泛應(yīng)用。
在Hadoop還是開源的時(shí)候, 眾多非 IT 型企業(yè)不具備自我開發(fā)條件,由此限制了Hadoop在企業(yè)里的普及。但隨著專注于企業(yè)級(jí)市場的Hadoop發(fā)行版的技術(shù)公司出現(xiàn),這個(gè)問題迎刃而解。從此, 各類型企業(yè)終于可以安心駕馭真正的企業(yè)化“大數(shù)據(jù)浪潮”了。
在中國,廣電系統(tǒng)正經(jīng)歷著數(shù)字化浪潮的沖擊,基于網(wǎng)絡(luò)化的影視播放給傳統(tǒng)廣電運(yùn)營商很大挑戰(zhàn)。 在此背景下,廣電系統(tǒng)的生力軍華數(shù)傳媒敏銳地意識(shí)到,要想獲得未來網(wǎng)絡(luò)化傳媒的生存與競爭優(yōu)勢,現(xiàn)在就必需向用戶傾斜,以適應(yīng)未來發(fā)展的數(shù)據(jù)基礎(chǔ)架構(gòu)為依托,才能打造“精準(zhǔn)型”廣電內(nèi)容及傳播運(yùn)營商。
2013年,華數(shù)傳媒的大數(shù)據(jù)系統(tǒng)完成了從無到有的基礎(chǔ)建設(shè),實(shí)現(xiàn)了基本應(yīng)用。然而,華數(shù)大數(shù)據(jù)仍面臨很多挑戰(zhàn):數(shù)據(jù)量增加帶來的服務(wù)性能壓力、數(shù)據(jù)分析無法滿足高時(shí)效性業(yè)務(wù)、業(yè)務(wù)支撐功能無法滿足復(fù)雜的商用需求、對(duì)網(wǎng)絡(luò)和服務(wù)器質(zhì)量等數(shù)據(jù)分析仍為空白、等等。為此,華數(shù)傳媒亟需解決方案以解決如下幾個(gè)問題:
1. 數(shù)據(jù)采集、存儲(chǔ)和轉(zhuǎn)發(fā)。通過大數(shù)據(jù)技術(shù)滿足海量、多來源、多樣性數(shù)據(jù)的存儲(chǔ)、管理要求,支持平臺(tái)硬件的線性擴(kuò)展,并提供快速實(shí)時(shí)的數(shù)據(jù)分析結(jié)果,并迅速作用于業(yè)務(wù)。
2. 個(gè)性化用戶推薦。不僅限于數(shù)據(jù)本身的分析和決策價(jià)值,通過構(gòu)建在大數(shù)據(jù)平臺(tái)之上整合業(yè)務(wù)能力,為用戶提供融合、個(gè)性化的內(nèi)容服務(wù)。
3. 從內(nèi)容傳輸?shù)絻?nèi)容制造。使用大數(shù)據(jù)挖掘技術(shù)提前先于觀眾知道他們需求,預(yù)知將受到追捧的電視。另外, 還可通過觀眾對(duì)演員、情節(jié)、基調(diào)、類型等元數(shù)據(jù)的標(biāo)簽化,來了解受眾偏好,從而進(jìn)行分析觀測,為后續(xù)的影視制作等內(nèi)容開發(fā)做好準(zhǔn)備。
作為眾多廣電運(yùn)營商其中的重要一員,華數(shù)傳媒的這些需求,也是廣電運(yùn)營商們的共同訴求。
針對(duì)華數(shù)傳媒的需要,國內(nèi)首家專業(yè)的企業(yè)級(jí)Hadoop發(fā)行版廠商星環(huán)科技給出了令人滿意的答卷。 星環(huán)科技基于自主研發(fā)的一站式Hadoop發(fā)行版Transwarp Data Hub (TDH),綜合運(yùn)用了其中的TDH Hadoop、Inceptor分布式內(nèi)存引擎、Hyperbase實(shí)時(shí)數(shù)據(jù)庫等技術(shù)產(chǎn)品組件,為華數(shù)傳媒提供了如下的綜合方案:
數(shù)字電視分析系統(tǒng)
TDH平臺(tái)用以整合各個(gè)相關(guān)數(shù)據(jù)源數(shù)據(jù),包括Portal、CA、CDN、SRM日志、用戶使用瀏覽信息、AAA、BOSS結(jié)構(gòu)化數(shù)據(jù)、用戶基本信息、消費(fèi)數(shù)據(jù)、用戶上網(wǎng)流量數(shù)據(jù)、網(wǎng)管數(shù)據(jù)等。通過TDH的快速分布式數(shù)據(jù)查詢引擎,實(shí)現(xiàn)海量數(shù)據(jù)的秒級(jí)查詢。為用戶提供智能推薦、實(shí)時(shí)榜單和新媒體指數(shù)分析。
1. 提供基于全量數(shù)據(jù)的實(shí)時(shí)榜單。以時(shí)間(小時(shí)/天/周)、用戶等維度,對(duì)點(diǎn)播節(jié)目、直播節(jié)目、節(jié)目類別、搜索關(guān)鍵詞等進(jìn)行排名分析、同比環(huán)比分析、趨勢分析等。地區(qū)風(fēng)向標(biāo)主要以城市和時(shí)間等維度分析點(diǎn)播排行、劇集排行、分類排行、熱搜排行及用戶數(shù)量的變化。另外,從時(shí)間、頻道、影片類型、劇集等維度,根據(jù)在看數(shù)量、新增數(shù)量、結(jié)束觀看數(shù)量、完整看完等分析用戶走向。
圖一:華數(shù)傳媒以企業(yè)級(jí)Hadoop發(fā)新版為基礎(chǔ)的大數(shù)據(jù)架構(gòu)
2. 新媒體指數(shù)分析。通過對(duì)用戶行為分析獲取很多的隱性指標(biāo),從側(cè)面反映用戶對(duì)業(yè)務(wù)的認(rèn)可度、用戶的使用行為習(xí)慣等。在此基礎(chǔ)之上,TDH大數(shù)據(jù)分析可幫助華數(shù)傳媒構(gòu)建規(guī)范的指標(biāo)分析和衡量體系,為業(yè)務(wù)運(yùn)營提供強(qiáng)有力的指導(dǎo)。
3.智能推薦。運(yùn)用星環(huán)科技大數(shù)據(jù)基礎(chǔ)架構(gòu),通過對(duì)用戶行為數(shù)據(jù)的采集分析,進(jìn)行精準(zhǔn)畫像,使用智能推薦引擎,實(shí)現(xiàn)信息的個(gè)性化推薦(TV屏、手機(jī)、PC),個(gè)性化營銷(個(gè)性化廣告、豐富產(chǎn)品組合、市場分析)。基于可持續(xù)擴(kuò)展和優(yōu)化智能推薦算法,以及大數(shù)據(jù)帶來的實(shí)時(shí)數(shù)據(jù)交互能力,為每一個(gè)用戶量身定做的推薦節(jié)目極大提高了產(chǎn)品的到達(dá)率,增強(qiáng)了用戶忠誠度。
結(jié)語:
對(duì)于包括廣電運(yùn)營商在內(nèi)的眾多企業(yè)而言,精細(xì)化的用戶需求掌控是未來發(fā)展不可變更的趨勢。在此,Hadoop發(fā)行版系統(tǒng)再次證明了其業(yè)務(wù)價(jià)值,這是傳統(tǒng)數(shù)據(jù)管理系統(tǒng)力所不能及的。星環(huán)科技是國內(nèi)鮮有的掌握企業(yè)級(jí)Hadoop和Spark核心技術(shù)的高科技創(chuàng)業(yè)公司,在電信、金融、交通、政府等領(lǐng)域的落地應(yīng)用擁有豐富經(jīng)驗(yàn)。相信通過類似星環(huán)科技的Hadoop發(fā)行版系統(tǒng),企業(yè)級(jí)大數(shù)據(jù)應(yīng)用將更能順應(yīng)業(yè)務(wù)發(fā)展要求,企業(yè)也可更從容面對(duì)市場競爭。
更多信息,請(qǐng)?jiān)L問http://www.transwarp.io