“數(shù)據(jù)驅(qū)動(dòng)創(chuàng)新”是2018數(shù)博會(huì)的熱門議題。
信息化蓬勃發(fā)展，帶來數(shù)據(jù)的爆發(fā)式增長(zhǎng)。在云計(jì)算和大數(shù)據(jù)時(shí)代，基于數(shù)據(jù)開展生產(chǎn)、運(yùn)營(yíng)、決策成為常態(tài)，數(shù)據(jù)的存儲(chǔ)及應(yīng)用體系成為企業(yè)生態(tài)運(yùn)轉(zhuǎn)的中樞神經(jīng)。但面對(duì)海量的數(shù)據(jù)規(guī)模，傳統(tǒng)數(shù)據(jù)架構(gòu)尚能飯否？
品高云大數(shù)據(jù)解決方案總監(jiān)李偉文在2018數(shù)博會(huì)中向前來品高云展臺(tái)的觀眾介紹說，數(shù)據(jù)架構(gòu)技術(shù)演進(jìn)經(jīng)歷了三個(gè)階段，品高云則給出了第三階段的最佳實(shí)踐。
大數(shù)據(jù)架構(gòu)技術(shù)的三個(gè)階段
1.0階段
主要是基于關(guān)系型數(shù)據(jù)庫(kù)的傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)。該架構(gòu)技術(shù)上主要采用Oracle、DB2、SQLServer等RDB構(gòu)建，主要滿足結(jié)構(gòu)化數(shù)據(jù)的報(bào)表分析、離線分析、統(tǒng)計(jì)需求和場(chǎng)景，主要實(shí)現(xiàn)“為什么發(fā)生”。
2.0階段
主要以Hadoop為基礎(chǔ)，集成NoSQL數(shù)據(jù)庫(kù)、MPP、流計(jì)算技術(shù)、全文檢索技術(shù)、機(jī)器學(xué)習(xí)、圖計(jì)算，構(gòu)建滿足結(jié)構(gòu)化、非結(jié)構(gòu)化的多種場(chǎng)景需求，技術(shù)生態(tài)龐雜，主要實(shí)現(xiàn)“為什么發(fā)生、正在發(fā)生什么、以后會(huì)發(fā)生什么？”，2.0時(shí)代無法有效解決異構(gòu)技術(shù)融合、跨部門、跨層級(jí)的數(shù)據(jù)共享和數(shù)據(jù)主權(quán)問題。
3.0階段
主要以數(shù)據(jù)湖架構(gòu)理念為基礎(chǔ)，依托存儲(chǔ)計(jì)算分離架構(gòu)，融合云計(jì)算SDN、對(duì)象存儲(chǔ)、彈性計(jì)算等技術(shù)，無縫融合大數(shù)據(jù)復(fù)雜的技術(shù)生態(tài)。實(shí)現(xiàn)“一份數(shù)據(jù)，多種計(jì)算”，靈活滿足跨部門異構(gòu)計(jì)算技術(shù)，有效解決跨部門、跨層級(jí)、跨組織邊界的數(shù)據(jù)共享和開放問題， 使得數(shù)據(jù)擁有權(quán)、數(shù)據(jù)使用權(quán)、數(shù)據(jù)管理權(quán)等“數(shù)據(jù)三權(quán)分立”，幫助大型企業(yè)、集團(tuán)性企業(yè)、政府部門構(gòu)建可持續(xù)發(fā)展的的數(shù)據(jù)生態(tài)。
數(shù)據(jù)湖架構(gòu)的基礎(chǔ)技術(shù)理念是存儲(chǔ)計(jì)算分離
李偉文表示，數(shù)據(jù)湖架構(gòu)的基礎(chǔ)技術(shù)理念是存儲(chǔ)計(jì)算分離，分離后，可以帶來諸多優(yōu)勢(shì)：
• 存儲(chǔ)引擎和計(jì)算引擎可以獨(dú)立擴(kuò)展；
• 存儲(chǔ)引擎存儲(chǔ)一份數(shù)據(jù)，上層通過標(biāo)準(zhǔn)協(xié)議可對(duì)接Hadoop、RDB、Spark、MPP等主流大數(shù)據(jù)技術(shù)，各組織可采用根據(jù)應(yīng)用需要個(gè)性化的計(jì)算引擎；
• 大數(shù)據(jù)技術(shù)發(fā)展日新月異，在引入新技術(shù)或者替換舊計(jì)算技術(shù)時(shí)，數(shù)據(jù)無需遷移，只需替換上層計(jì)算引擎即可；
• 存儲(chǔ)引擎剝離后，相對(duì)Hadoop薄弱的數(shù)據(jù)安全問題，數(shù)據(jù)安全得到質(zhì)的增強(qiáng)，各部門在存儲(chǔ)引擎上的數(shù)據(jù)完全隔離，對(duì)數(shù)據(jù)具有數(shù)據(jù)擁有權(quán)和管理權(quán)，并通過授權(quán)審批獲得數(shù)據(jù)使用權(quán)。
• 存儲(chǔ)引擎支持外表直連技術(shù)，各計(jì)算引擎可通過外部表直接使用數(shù)據(jù)，而不需拷貝。
• 可有效支持彈性計(jì)算，在計(jì)算完成后，可回收資源，提升資源的利用率；
三代數(shù)據(jù)構(gòu)架技術(shù)橫向?qū)Ρ?/strong>
為了進(jìn)一步展示三代數(shù)據(jù)構(gòu)架技術(shù)的差異，從擴(kuò)展性、數(shù)據(jù)多樣性、技術(shù)融合等多個(gè)角度對(duì)比三種架構(gòu)得出下圖：
品高云數(shù)據(jù)湖亮相2018數(shù)博會(huì)
在貴州貴陽(yáng)舉行的2018數(shù)博會(huì)中，品高云與Google、微軟、阿里云等國(guó)內(nèi)外云計(jì)算、大數(shù)據(jù)巨頭同時(shí)亮相，品高云旗下的BingoInsight基于數(shù)據(jù)湖架構(gòu)的大數(shù)據(jù)平臺(tái)作為國(guó)內(nèi)首個(gè)私有云數(shù)據(jù)湖，受到了蒞臨會(huì)場(chǎng)的眾多大數(shù)據(jù)專家和用戶追捧。
作為3.0階段的數(shù)據(jù)架構(gòu)技術(shù)，品高云數(shù)據(jù)湖的推出，就是為了解決傳統(tǒng)數(shù)據(jù)架構(gòu)技術(shù)不能解決的問題，諸如：
1. 難實(shí)現(xiàn)異構(gòu)技術(shù)融合
技術(shù)層面看，大數(shù)據(jù)技術(shù)生態(tài)繁榮，發(fā)展日新月異，Hadoop、Spark，MPP、NoSQL、kafka、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)不斷發(fā)展，不同技術(shù)解決不同問題，企業(yè)的大數(shù)據(jù)平臺(tái)必定是混合式的架構(gòu)，如何有效融合異構(gòu)的技術(shù)成為企業(yè)構(gòu)建大數(shù)據(jù)平臺(tái)必須面臨的問題。
2. 數(shù)據(jù)孤島有待打破，實(shí)現(xiàn)統(tǒng)一數(shù)據(jù)匯聚和共享
數(shù)據(jù)層面看，跨部門、跨企業(yè)、跨行業(yè)的數(shù)據(jù)融合需求日趨明顯，數(shù)據(jù)關(guān)聯(lián)碰撞也是激發(fā)數(shù)據(jù)創(chuàng)新的基礎(chǔ)，如何有效打破數(shù)據(jù)孤島，解決數(shù)據(jù)主權(quán)，實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)匯聚和共享是企業(yè)面臨的另外一個(gè)關(guān)鍵性問題。
Gartner看好的國(guó)內(nèi)首個(gè)私有云數(shù)據(jù)湖
品高一直致力于耕耘企業(yè)級(jí)市場(chǎng)，在大數(shù)據(jù)概念興起階段逐步洞察到大數(shù)據(jù)技術(shù)在企業(yè)落地的挑戰(zhàn)，憑借敏銳的市場(chǎng)嗅覺，順應(yīng)市場(chǎng)趨勢(shì)，經(jīng)過兩年研發(fā)在2017年初推出了基于私有云的數(shù)據(jù)湖整體解決方案，以幫助企業(yè)和組織構(gòu)建私有的大數(shù)據(jù)平臺(tái)，使組織級(jí)的大數(shù)據(jù)應(yīng)用及價(jià)值創(chuàng)新成為可能——這是國(guó)內(nèi)首個(gè)基于私有云的數(shù)據(jù)湖解決方案。
品高云數(shù)據(jù)湖架構(gòu)示意圖
品高數(shù)據(jù)湖解決方案包括5部分，分別為：數(shù)據(jù)湖存儲(chǔ)、數(shù)據(jù)集成、數(shù)據(jù)處理、數(shù)據(jù)管理和數(shù)據(jù)消費(fèi)。有意思的是，在Gartner2017年推出的一份數(shù)據(jù)湖最佳設(shè)計(jì)實(shí)踐報(bào)告中指出，保障數(shù)據(jù)湖成功落地需要重點(diǎn)考慮數(shù)據(jù)集成、數(shù)據(jù)探索和開發(fā)、數(shù)據(jù)治理、數(shù)據(jù)消費(fèi)等四個(gè)方面，可以說，品高數(shù)據(jù)湖解決方案與Gartner觀點(diǎn)不謀而合。
為此，2017年底，Gartner聯(lián)袂品高云推出了一份名為《基于數(shù)據(jù)湖架構(gòu)的大數(shù)據(jù)平臺(tái)》（Big data platform based on Data Lake Architecture）的報(bào)告，雙方就數(shù)據(jù)湖（Data Lake）的現(xiàn)實(shí)挑戰(zhàn)、技術(shù)實(shí)踐與發(fā)展趨勢(shì)展開了探討。點(diǎn)擊左下閱讀原文了解詳情。
為了更好便于讀者了解，如下列出了品高云數(shù)據(jù)湖的最佳應(yīng)用場(chǎng)景，包括：1、應(yīng)用于跨企業(yè)、跨行業(yè)的數(shù)據(jù)聯(lián)盟；2、作為大數(shù)據(jù)平臺(tái)的數(shù)據(jù)存儲(chǔ)；3、實(shí)現(xiàn)組織跨部門間的數(shù)據(jù)共享；4、利用數(shù)據(jù)湖，促進(jìn)產(chǎn)學(xué)研的合作；5、推動(dòng)政府?dāng)?shù)據(jù)共享開放模式的創(chuàng)形性升級(jí)；6、全量數(shù)據(jù)匯聚，交叉碰撞分析支撐決策等。
品高云數(shù)據(jù)湖部分應(yīng)用場(chǎng)景
此刻，2018數(shù)博會(huì)已經(jīng)接近尾聲，但是國(guó)家層面對(duì)大數(shù)據(jù)建設(shè)的重視，對(duì)數(shù)據(jù)驅(qū)動(dòng)創(chuàng)新的期待正在穩(wěn)定增長(zhǎng)中。而推進(jìn)政府和公共部門數(shù)據(jù)資源統(tǒng)一匯聚和集中向社會(huì)開放，已經(jīng)重要的國(guó)家戰(zhàn)略。目前，應(yīng)運(yùn)而生的BingoInsight云數(shù)據(jù)湖已經(jīng)在政府、公安、集團(tuán)性企業(yè)等行業(yè)開啟了大規(guī)模部署工作。隨著眾多數(shù)據(jù)湖項(xiàng)目相繼進(jìn)入實(shí)施尾聲，我們將在未來為大家?guī)砀鄶?shù)據(jù)湖建設(shè)的典范案例和應(yīng)用經(jīng)驗(yàn)，敬請(qǐng)期待。
京公網(wǎng)安備 11010502049343號(hào)