背景

當前大家都知道:

1. 數(shù)據(jù)交易市場的繁榮為時過早，數(shù)據(jù)加工和處理太過于分散化;

2. 數(shù)據(jù)金字塔頂部的數(shù)據(jù)成為重要的資產(chǎn)，然后擁有者并不知道如何釋放;

3. 互聯(lián)網(wǎng)數(shù)據(jù)聚合及釋放數(shù)據(jù)價值的經(jīng)驗值得所有企業(yè)參考。

筆者團隊經(jīng)歷對于DAAS的幾個階段，艱辛萬苦，若有所思，現(xiàn)在把研究成果分享出來，以求大家反饋，研究研究在改進

DAAS是什么

基本定義

• Users can access vendor provided databases

用戶可直接獲取由BD公司提供的數(shù)據(jù)庫

• Users can host their own databases on vendor managed systems.

用戶可在BD公司提供數(shù)據(jù)管理平臺上處理自己的數(shù)據(jù)庫

• Users have the option to access data (their own and/or other parties) on a usage sensitive basis.

用戶可以按照自身意愿對多源數(shù)據(jù)進行應用級別的分析處理

DAAS哪些公司在做

DAAS有哪些產(chǎn)品

   Amazon EMRCore DaaS

• Amazon Elastic MapReduce (Amazon EMR) 是一種 Web 服務，它簡化了大數(shù)據(jù)的處理，提供托管Hadoop框架，可以讓用戶輕松、快速、經(jīng)濟高效地在多個動態(tài)可擴展的 Amazon EC2 實例之間分發(fā)和處理大量數(shù)據(jù)。

• 用戶還可以運行其他常用的分發(fā)框架(例如 Amazon EMR 中的 Spark 和 Presto)與其他 AWS 數(shù)據(jù)存儲服務(例如 Amazon S3 和 Amazon DynamoDB)中的數(shù)據(jù)進行互動。

• Amazon EMR 能夠安全可靠地處理大數(shù)據(jù)使用案例，包括日志分析、Web 索引、數(shù)據(jù)倉庫、機器學習、財務分析、科學模擬和生物信息。

AltiscalePerformance DaaS

• Altiscale通過將Hadoop的全部服務轉(zhuǎn)向云端，并提供Hadoop即服務以減少Hadoop的復雜性;

• 將Hadoop服務推向云端，意味著更廣闊的受眾，而客戶在遭遇不可避免的問題時，完全可以依賴Altiscale的服務。由于Altiscale完全專注于Hadoop，因此解決問題的過程可以從幾天縮短到幾個小時。

• 有的時候，Altiscale會在處理階段自己發(fā)現(xiàn)問題，有的時候則是客戶主動上報問題，因此客戶并沒有被迫要自己去追蹤問題，然后留給Altiscale來解決。

• 該產(chǎn)品被業(yè)界認為具有規(guī)模生產(chǎn)效應。

Qubole Feature DaaS

• Qubole致力于解決基礎(chǔ)設(shè)施沖突的問題，一旦互聯(lián)網(wǎng)的政策到位，任何數(shù)量的數(shù)據(jù)分析都可以在Hive，spark、Presto等數(shù)據(jù)處理引擎的協(xié)助下實現(xiàn)一鍵訪問，也可連接其他服務的API來導入數(shù)據(jù)。

• Qubole簡化、加快和縮減了處理存儲在AWS、谷歌或者Azure云中的大數(shù)據(jù)分析的工作量，用戶無需了解Hadoop系統(tǒng)管理，大大簡化了大數(shù)據(jù)應用的復雜性，而且成本更低。

• Qubole是一個企業(yè)級別的解決方案，它的靈活性使得它脫穎而出，成為一款相當值得使用的軟件平臺。

DAAS有哪些案例

DaaS案例-云平臺

Amazon Elastic MapReduce 支持的功能包括：

1) 查看過此內(nèi)容的人還查看過

2) 要點回顧

3) 鍵入搜索內(nèi)容時自動完成詞語

4) 搜索拼寫建議

5) 熱門搜索

6) 廣告

Yelp 每天運行約 200 個 Amazon Elastic MapReduce 作業(yè)來處理 3 TB 的數(shù)據(jù)，并借助AWS來幫助他們進行 Hadoop 應用程序開發(fā)，幫助Yelp節(jié)省 55 000 USD 用于前期購置硬件的資金，并且從設(shè)置到運行只需幾天，而不是數(shù)月。

Yelp 使用 Amazon S3 來存儲每天的日志和照片，每天可生成約 100 GB 的日志。該公司還使用 Amazon EMR 支持近20個單獨的批處理腳本，它們當中的大部分都用于處理日志，開發(fā)人員可以集中精力應對其他挑戰(zhàn)。

1)DaaS案例-自建

   Big data cloud service makes ad-hoc analysis easier in Hadoop.

2)DaaS案例-技術(shù)輸出到數(shù)據(jù)擁有者

IBM所提供的Twitter服務分析：IBM向企業(yè)提供訪問數(shù)據(jù)和分析的渠道，查看Twitter每日5億條推訊，還有2.8億月活躍用戶。此外，它還提供了一個叫做“firehose”的推訊分析工具與應用，將這些混亂的非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)變?yōu)橛幸饬x的信息;它還培訓了4000名咨詢師，協(xié)助企業(yè)將計劃付諸行動以期獲益。

蘋果和IBM剛剛宣布，合作開設(shè)了一個大數(shù)據(jù)的健康平臺。蘋果手表的出現(xiàn)可能會使商用可穿戴設(shè)備成為主流，毫無疑問也會帶來新一波BDaaS的應用爆發(fā)。預測將有數(shù)百萬使用者進行各種操作，包括監(jiān)控心率、安排社交日程、遙控家庭娛樂設(shè)備，從而造就大量的數(shù)據(jù)。然后蘋果再找出新辦法，將這些數(shù)據(jù)包裝起來重新賣給我們。

3)DaaS案例-自產(chǎn)自銷

農(nóng)業(yè)機械生產(chǎn)商John Deere，他為所有拖拉機配備了傳感器，這些傳感器會收集機械、土壤以及莊稼狀況的信息，并將這些流數(shù)據(jù)傳到MyJohnDeere.com與Farmsight服務上;從何時該訂購備件，到哪里種植莊稼一應俱全，農(nóng)場主可以付費訂閱這些分析情報。

DAAS可能存在的商業(yè)模式

在使用DaaS時，理論上來說所有煩人的“基礎(chǔ)細節(jié)”都不用再操心了(在組件和基礎(chǔ)設(shè)施上的大量投入)，企業(yè)也就可以專心解決業(yè)務問題。DaaS提供商承擔合規(guī)和數(shù)據(jù)保護的成本，當數(shù)據(jù)存儲到他們的云服務器上后，一切工作將由他們負責。租用他們基于云的存儲與分析引擎，然后按使用時間或者處理的數(shù)據(jù)量來付費。向客戶提供分析服務(分析報告或者人工服務費)。直接賣加工后的數(shù)據(jù)。

行業(yè)DaaS平臺：服務行業(yè)巨頭

需要釋放數(shù)據(jù)價值獲取更多數(shù)據(jù)：

1. 行業(yè)數(shù)據(jù)的提供

2. 行業(yè)數(shù)據(jù)分析的結(jié)果

3. 對數(shù)據(jù)進行分析

4. 數(shù)據(jù)驅(qū)動產(chǎn)業(yè)變革

5. 數(shù)據(jù)門戶：服務小企業(yè)

需要DaaS新的云化有數(shù)據(jù)的環(huán)境

• 工具

• 數(shù)據(jù)
 

DAAS展望

通過利用BDAAS對所收集的大量個人數(shù)據(jù)進行分析，客戶能夠更加有效地發(fā)現(xiàn)和吸引潛在客戶。這類服務有數(shù)千家中小型企業(yè)級使用者，將目標對準了潛在消費者可能存在的相關(guān)利基市場。亞馬遜的AWS以及谷歌的AdSense和AdWords，Acxiom都可歸為這一類，屬于其中的佼佼者。隨著軟件即服務的流行，我們越來越習慣在虛擬環(huán)境中通過web界面來工作，將分析整合到這個過程中也就成了自然而然的下一步。我們已經(jīng)能看到：很多之前認為大數(shù)據(jù)遙不可及的企業(yè)，現(xiàn)在都看到了大數(shù)據(jù)項目的可行性。

如何做DAAS


 

• 數(shù)據(jù)源：專注在IT能力比較弱，但是數(shù)據(jù)價值較高的行業(yè)客戶上;

• 數(shù)據(jù)云化：強調(diào)數(shù)據(jù)管理的云化;

• 數(shù)據(jù)產(chǎn)品SaaS化：為可以接受SaaS服務的客戶提供數(shù)據(jù)產(chǎn)品

DaaS(數(shù)據(jù)管理服務)的技術(shù)整體架構(gòu)
 

(圖來源百分點科技)

管理的具體措施

 

(圖來源百分點科技)

數(shù)據(jù)的積累、挖掘、整理、利用，是現(xiàn)代企業(yè)所必需的基本素養(yǎng)，沒有它，你的企業(yè)將無力面對未來的競爭。數(shù)據(jù)在云端的管理開始變得更加重要，很多軟件企業(yè)開始思考數(shù)據(jù)在云端的交互，這樣對于數(shù)據(jù)流通有天然的氧吧。數(shù)據(jù)服務(DAAS)雖然今天看起來還很模糊，缺少法律支撐，缺少數(shù)據(jù)流通技術(shù)支持，缺少成功案例，缺少企業(yè)涉足，但我們堅信：

1) 數(shù)據(jù)流通必然需要很多專業(yè)的公司提供服務;

2) 數(shù)據(jù)的流通必然會節(jié)省整個社會的生產(chǎn)成本。