4月25日-26日，企業(yè)網(wǎng)D1Net《2017CCS云計(jì)算渠道合作高峰論壇》在京舉行，易觀國(guó)際CTO郭煒以《Pb 級(jí)大數(shù)據(jù)集群云化與遷移》為主題，分享了其大數(shù)據(jù)遷移過(guò)程中遇到的問(wèn)題及采用的解決方案。

提升云遷移中數(shù)據(jù)互傳效率

云遷移通過(guò)互聯(lián)網(wǎng)互傳的時(shí)候，小包傳沒(méi)有效率，易觀使用自建的“四分衛(wèi)”的開(kāi)源項(xiàng)目有效提高了云遷移的高效數(shù)據(jù)互傳問(wèn)題。易觀開(kāi)源的“四分衛(wèi)”類(lèi)似橄欖球的傳球手，運(yùn)用壓縮算法和排序?qū)⒚總€(gè)小包壓縮成一個(gè)檔案，通過(guò)互聯(lián)網(wǎng)傳到兩個(gè)接收端，解包后按照排序再進(jìn)入到Kafka里面，通過(guò)排序、互傳同步的機(jī)制，保證不丟包。假如發(fā)生丟包，也可以續(xù)傳，然后再放進(jìn)Kafka。

解決漏斗查詢難題

對(duì)于很多企業(yè)來(lái)說(shuō)，從瀏覽網(wǎng)頁(yè)到產(chǎn)品下單到支付的轉(zhuǎn)化率和流失率，對(duì)業(yè)務(wù)發(fā)展至關(guān)重要。業(yè)內(nèi)將這種場(chǎng)景稱為“漏斗查詢”，在郭煒看來(lái)，漏斗查詢的難點(diǎn)在于，需要對(duì)一個(gè)有序行為序列轉(zhuǎn)化漏斗。目前市場(chǎng)上大部分的開(kāi)源引擎都是針對(duì)無(wú)序OLAP查詢，有序的查詢相對(duì)較難。對(duì)此，易觀針對(duì)該場(chǎng)景給出了解決方案，目前針對(duì)百萬(wàn)日活的APP漏斗查詢都在30秒以內(nèi)，近期也會(huì)開(kāi)源給大家。

(大數(shù)據(jù)遷移總結(jié))

郭煒總結(jié)說(shuō)，大數(shù)據(jù)云遷移，包括幾個(gè)方面：基礎(chǔ)框架建設(shè)、歷史數(shù)據(jù)遷移、并行數(shù)據(jù)驗(yàn)證、產(chǎn)品切換以及業(yè)務(wù)上面的數(shù)據(jù)治理幾個(gè)部分。攻克文中的幾個(gè)難題，易觀國(guó)際PB級(jí)歷史數(shù)據(jù)得到了無(wú)縫切換。目前易觀混合云大數(shù)據(jù)平臺(tái)有著4.42億月活量，3000多萬(wàn)日活，累計(jì)裝機(jī)量18.2億，在互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)中也處于第一梯隊(duì)。