大數(shù)據(jù)和云計算硬幣的正反面

“大數(shù)據(jù)也需要云計算這個平臺，這是一個硬幣的正反面。”阿里云總裁王文彬（花名：菲青）與媒體交流時表示。這幾年IT行業(yè)發(fā)生了翻天覆地的變化，直到現(xiàn)在大家依然在談?wù)撛朴嬎?。這云概念出現(xiàn)當(dāng)初，業(yè)內(nèi)不斷傳出質(zhì)疑的聲音，隨著各大云服務(wù)廠商的努力，現(xiàn)在各行各業(yè)都已經(jīng)開始接受了云計算服務(wù)。2014年7月，阿里云ODPS項目正式對外開放。

伴隨著互聯(lián)網(wǎng)與移動互聯(lián)網(wǎng)的相關(guān)技術(shù)不斷成熟，云計算開始被市場接受，海量數(shù)據(jù)大潮來襲，廠商和企業(yè)紛紛看到了大數(shù)據(jù)的前景，我們現(xiàn)在已經(jīng)生活在一個數(shù)據(jù)的時代。 大數(shù)據(jù)和云計算 是分不開的硬幣正反面 傳統(tǒng)IT已經(jīng)被顛覆 阿里云從2009年開始在云計算服務(wù)方面進(jìn)行研究到目前已經(jīng)有五個年頭了，這五年中阿里云突破了各種各樣的技術(shù)難題，從去年的5K集群到今年的ODPS，阿里云已經(jīng)成為云服務(wù)產(chǎn)業(yè)中的領(lǐng)軍人物。在阿里云看來，云計算和大數(shù)據(jù)是不可分割的，就好比一個硬幣的兩面，精準(zhǔn)的大數(shù)據(jù)分析依賴于強大的云計算平臺。

阿里云總裁王文彬表示：大數(shù)據(jù)和云時代的到來顛覆了企業(yè)傳統(tǒng)IT架構(gòu)，企業(yè)IT進(jìn)入了云服務(wù)+數(shù)據(jù)的時代。傳統(tǒng)IT還存在于購買硬件與軟件的基礎(chǔ)上，而云服務(wù)將企業(yè)IT變?yōu)榘葱栀徺I，從針對硬件與軟件的購買模式上轉(zhuǎn)變?yōu)閷Ψ?wù)的統(tǒng)一購買。隨著移動互聯(lián)網(wǎng)加互聯(lián)網(wǎng)的來臨，整個模式現(xiàn)在是一個翻天覆地的改變。

2大數(shù)據(jù)帶來的改變

大數(shù)據(jù)帶來的改變 大數(shù)據(jù)已經(jīng)趨于平民化，花個幾百塊錢，人人都可以使用大數(shù)據(jù)服務(wù)，玩轉(zhuǎn)大數(shù)據(jù)已經(jīng)不再是大企業(yè)的專屬技能了。經(jīng)過五年的積累，阿里云計算發(fā)布核武器級別的大數(shù)據(jù)產(chǎn)品——ODPS。通過ODPS在線服務(wù)，小公司與小團(tuán)隊可以對擁有的海量數(shù)據(jù)進(jìn)行快速分析挖掘。阿里云總裁王文彬（菲青）表示，ODPS會改變整個中國，不論云計算，或者整個大數(shù)據(jù)的里程碑，所以我們自己一直體會到這個東西。

到底什么是ODPS

簡單來說，ODPS(Open Data Processing Service)是一項Web服務(wù)，大家不用花大錢建數(shù)據(jù)中心，就能分析海量數(shù)據(jù)。我們測過，100PB的數(shù)據(jù)任務(wù)可在6小時內(nèi)跑完。這個數(shù)據(jù)量相當(dāng)于1億部高清電影。

如何讓數(shù)據(jù)產(chǎn)生價值？先得擁有大規(guī)模處理能力，然后才是挖掘、算法和分析。傳統(tǒng)的做法是這樣的：租個機房，買一堆昂貴的設(shè)備搭建數(shù)據(jù)倉庫，再請一幫技術(shù)人員來維護(hù)運轉(zhuǎn)。一旦觸發(fā)bug，或者當(dāng)數(shù)據(jù)總量超過100TB時，你的工程師們可能會被這些麻煩搞崩潰。 Hadoop開源系統(tǒng)很偉大，大大降低了成本。阿里是中國玩Hadoop玩得最好的幾家公司之一，Hadoop支撐了淘寶、支付寶早期業(yè)務(wù)的快速發(fā)展。不過，自建一個像樣的Hadoop集群，得百萬起步資金，專業(yè)的Hadoop人才更是稀缺。門檻還是太高。

ODPS到底能做些什么

在國內(nèi)，說得再好不如有個好的案例。ODPS已經(jīng)在阿里內(nèi)部進(jìn)行了大量的使用與測試。在阿里內(nèi)部，第一使用ODPS的是阿里小貸，阿里小貸每天得處理30PB數(shù)據(jù)，包括店鋪等級、收藏、評價等800億個信息項，運算100多個數(shù)據(jù)模型，甚至得測評小企業(yè)主對假設(shè)情景的掩飾和撒謊程度。經(jīng)過長期的測試，ODPS幫助小貸完成了大量的數(shù)據(jù)計算與分析的工作，從而掌握正確的用戶信譽度。

在未來，人們申請貸款的時候機器就可以完整個流程，根據(jù)大數(shù)據(jù)分析得出的個人信譽度來自動完成相關(guān)的信譽評估。

公共領(lǐng)域的數(shù)據(jù)挖掘，可以用ODPS嗎？當(dāng)然！結(jié)合中國氣象局的精準(zhǔn)預(yù)報數(shù)據(jù)，高德地圖不久后就能告訴你："前方道路已嚴(yán)重積水，您的車輛駛?cè)肟赡軙馑?，建議繞道行駛。"如今，每盒藥品上都有一張電子身份證，從生產(chǎn)、流通、儲存、配送、銷售到使用，全過程的數(shù)據(jù)都跑在ODPS上，一旦發(fā)現(xiàn)問題藥品，監(jiān)管部門可以立即采取措施。我們期待未來每一桶油、每一道菜的數(shù)據(jù)都跑在ODPS上，食品安全問題需要通過創(chuàng)新的方式來解決。

3探秘阿里云的御膳房與登月計劃

探秘阿里云的“御膳房”

基于ODPS，阿里為第三方軟件服務(wù)商和品牌商提供大數(shù)據(jù)計算、挖掘、存儲的云環(huán)境開發(fā)平臺，構(gòu)建阿里數(shù)據(jù)生態(tài)。通過御膳房數(shù)據(jù)市場，數(shù)據(jù)消費者與數(shù)據(jù)提供者可以安全地交易、使用海量數(shù)據(jù)，實現(xiàn)數(shù)據(jù)價值。

1.豐富的淘寶數(shù)據(jù)。目前御膳房已開放商品、商家、客服績效、品牌四大主題數(shù)據(jù)，后續(xù)會繼續(xù)開放行業(yè)、競品等主題數(shù)據(jù)；同時開發(fā)者也可以將個人數(shù)據(jù)上傳使用。

2.指標(biāo)標(biāo)準(zhǔn)可靠。開放共建的聚石塔數(shù)據(jù)標(biāo)準(zhǔn)聯(lián)盟，御膳房提供完善準(zhǔn)確的基礎(chǔ)指標(biāo)定義，計算口徑，檢驗工具等，確保數(shù)據(jù)標(biāo)準(zhǔn)、唯一可靠。

3.自助計算。強大穩(wěn)定的計算能力，提供離線分布式計算平臺及強大的算法環(huán)境，自主提交計算任務(wù)，自主開發(fā)模型挖掘數(shù)據(jù)價值，大數(shù)據(jù)計算快速響應(yīng)。

4.安全的操作平臺。御膳房支持隔離的數(shù)據(jù)存儲、獨立的數(shù)據(jù)任務(wù)部署，確保御膳房內(nèi)的數(shù)據(jù)交易與數(shù)據(jù)開發(fā)安全防泄漏。

5.靈活數(shù)據(jù)接口。開發(fā)者可根據(jù)需求靈活定制API，數(shù)據(jù)輸出符合TOP API規(guī)范。

6.大數(shù)據(jù)挖掘工具。御膳房提供R、Python、MySQL在內(nèi)的主流大數(shù)據(jù)挖掘工具，支持模型研究與快速迭代試驗，提升數(shù)據(jù)價值。

阿里內(nèi)部的登月計劃

2013年10月，為了融合阿里小貸和支付寶的數(shù)據(jù)，支付寶希望ODPS團(tuán)隊協(xié)助他們搬家，將支付寶數(shù)倉業(yè)務(wù)從Hadoop機群搬到ODPS上，登月1號項目啟動。2014年5月，登月1號項目順利成功，小微金融服務(wù)的全部數(shù)據(jù)業(yè)務(wù)開始基于ODPS發(fā)展。

在2013年底，受到登月1號項目的啟發(fā)，阿里數(shù)據(jù)平臺團(tuán)隊聯(lián)合技術(shù)保障部和集團(tuán)各事業(yè)部，開始了一系列宏大的登月計劃，致力于將搜索、廣告、物流等多個BU的數(shù)據(jù)統(tǒng)一，未來ODPS將成為承載阿里集團(tuán)全部數(shù)據(jù)的統(tǒng)一處理平臺。“登月計劃”共計劃了20多個項目，涉及阿里巴巴和小微金服所有的事業(yè)部，覆蓋集團(tuán)全部數(shù)據(jù)人員，其牽扯人員、資源之多，在集團(tuán)內(nèi)部罕見。

從Oracle到Hadoop，阿里云解決了海量數(shù)據(jù)如何存儲和分析的問題，阿里的數(shù)據(jù)業(yè)務(wù)不再受制于規(guī)模的瓶頸；從Hadoop到ODPS，更是一次質(zhì)的飛躍，為后續(xù)大數(shù)據(jù)業(yè)務(wù)的開展掃清了障礙。