4月25日-26日,企業(yè)網(wǎng)D1Net《2017CCS云計(jì)算渠道合作高峰論壇》在京舉行,易觀國(guó)際CTO郭煒以《Pb 級(jí)大數(shù)據(jù)集群云化與遷移》為主題,分享了其大數(shù)據(jù)遷移過(guò)程中遇到的問(wèn)題及采用的解決方案。
提升云遷移中數(shù)據(jù)互傳效率
云遷移通過(guò)互聯(lián)網(wǎng)互傳的時(shí)候,小包傳沒(méi)有效率,易觀使用自建的“四分衛(wèi)”的開(kāi)源項(xiàng)目有效提高了云遷移的高效數(shù)據(jù)互傳問(wèn)題。易觀開(kāi)源的“四分衛(wèi)”類(lèi)似橄欖球的傳球手,運(yùn)用壓縮算法和排序?qū)⒚總€(gè)小包壓縮成一個(gè)檔案,通過(guò)互聯(lián)網(wǎng)傳到兩個(gè)接收端,解包后按照排序再進(jìn)入到Kafka里面,通過(guò)排序、互傳同步的機(jī)制,保證不丟包。假如發(fā)生丟包,也可以續(xù)傳,然后再放進(jìn)Kafka。
解決漏斗查詢難題
對(duì)于很多企業(yè)來(lái)說(shuō),從瀏覽網(wǎng)頁(yè)到產(chǎn)品下單到支付的轉(zhuǎn)化率和流失率,對(duì)業(yè)務(wù)發(fā)展至關(guān)重要。業(yè)內(nèi)將這種場(chǎng)景稱為“漏斗查詢”,在郭煒看來(lái),漏斗查詢的難點(diǎn)在于,需要對(duì)一個(gè)有序行為序列轉(zhuǎn)化漏斗。目前市場(chǎng)上大部分的開(kāi)源引擎都是針對(duì)無(wú)序OLAP查詢,有序的查詢相對(duì)較難。對(duì)此,易觀針對(duì)該場(chǎng)景給出了解決方案,目前針對(duì)百萬(wàn)日活的APP漏斗查詢都在30秒以內(nèi),近期也會(huì)開(kāi)源給大家。
(大數(shù)據(jù)遷移總結(jié))
郭煒總結(jié)說(shuō),大數(shù)據(jù)云遷移,包括幾個(gè)方面:基礎(chǔ)框架建設(shè)、歷史數(shù)據(jù)遷移、并行數(shù)據(jù)驗(yàn)證、產(chǎn)品切換以及業(yè)務(wù)上面的數(shù)據(jù)治理幾個(gè)部分。攻克文中的幾個(gè)難題,易觀國(guó)際PB級(jí)歷史數(shù)據(jù)得到了無(wú)縫切換。目前易觀混合云大數(shù)據(jù)平臺(tái)有著4.42億月活量,3000多萬(wàn)日活,累計(jì)裝機(jī)量18.2億,在互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)中也處于第一梯隊(duì)。