近日,在Qcon會議上阿里云大數(shù)據(jù)產(chǎn)品經(jīng)理韋嘯(花名龍場)透露阿里單個ODPS具有百萬以上服務器管理和調(diào)度的能力,并與iDST進行合作,在機器學習、深度學習方面有了突破,其中參數(shù)服務器計算框架能夠輕松應對百億級別特征的監(jiān)督學習實例。
ODPS適用于政企、金融、游戲、物聯(lián)網(wǎng)等對于數(shù)據(jù)計算有高要求的行業(yè),螞蟻金服最近推出的花唄、阿里媽媽的“直通車”等服務均得到ODPS支持。未來這些能力將通過阿里云計算予以開放。
龍場在《云上大數(shù)據(jù)-生于戰(zhàn)火的云端計算平臺:ODPS與阿里PAI》的演講中介紹了ODPS的一些技術特點。龍場表示,相對于普通工具,ODPS主要優(yōu)勢在于多租戶管理、超大規(guī)模、安全和豐富的計算框架。他舉例說,就規(guī)模而言目前單個ODPS部署可以擴展到百萬臺服務器規(guī)模,且性能可以隨著規(guī)模的擴展而線性增強。
“說阿里巴巴的數(shù)據(jù)能力建立在ODPS上也不為過”,他表示。僅僅存儲數(shù)據(jù)并不會帶來價值,計算平臺起到將數(shù)據(jù)資源充分挖掘從而高效的產(chǎn)生價值的作用,相當于為數(shù)據(jù)賦能。
ODPS和阿里PAI是伴隨阿里巴巴超大規(guī)模數(shù)據(jù)計算場景而產(chǎn)生的,包含了3個層面:在硬層面將CPU、存儲、網(wǎng)絡等硬件統(tǒng)一調(diào)度,并通過一系列業(yè)界廣泛使用的分布式計算框架使之成為可用的生產(chǎn)力,在軟層面則包含了數(shù)據(jù)處理、統(tǒng)計、機器學習和深度學習等技術,在服務層面為客戶提供可視化等的用戶界面。
目前ODPS在內(nèi)部環(huán)境下已有上萬用戶同時使用,每天處理100萬以上作業(yè)任務,并發(fā)處理2萬以上的任務。
此前,阿里巴巴董事局主席提出基于數(shù)據(jù)的計算處理將決勝未來,并提出了DT時代的判斷。在阿里巴巴的DT規(guī)劃中,包括了云平臺、計算平臺以及數(shù)據(jù)平臺3部分。
iDST(Institute ofData Science&Technologies)是阿里巴巴集團的一個數(shù)據(jù)科學研究部門,在美國和中國的多個城市組建團隊,將就大數(shù)據(jù)領域進行前瞻性研究。重點研究機器學習、人工智能、多媒體數(shù)據(jù)處理與挖掘等。