近日,在美國孟菲斯召開的“數(shù)據(jù)管理與交換”分技術(shù)委員會2016年全會上,中國代表團(tuán)提交的大數(shù)據(jù)技術(shù)提案“sql對mapreduce及與之相關(guān)的流數(shù)據(jù)處理的支持”完勝美國、德國,獲得sc32全會決議通過。
中國首項(xiàng)大數(shù)據(jù)領(lǐng)域國際標(biāo)準(zhǔn)提案通過sc32全會決議會議確認(rèn)以wg3“數(shù)據(jù)庫語言工作組”和中國國家成員體的名義聯(lián)合申報(bào)新工作項(xiàng)目“數(shù)據(jù)庫語言新技術(shù)設(shè)計(jì)說明第1部分:sql對流數(shù)據(jù)的支持”。這是中國加入數(shù)據(jù)庫標(biāo)準(zhǔn)組29年來首度在國際標(biāo)準(zhǔn)委員會獨(dú)立提出技術(shù)提案并獲通過。
隨著大數(shù)據(jù)時(shí)代的到來,MapReduce作為主流的數(shù)據(jù)處理方式已被廣泛采用,但其編程過程繁瑣且對流數(shù)據(jù)的處理缺少規(guī)范化的操作。同時(shí)由于現(xiàn)行的ISO/IEC 9075數(shù)據(jù)庫語言SQL標(biāo)準(zhǔn)不支持對流數(shù)據(jù)的支持,一些大數(shù)據(jù)解決方案公司為了使用SQL標(biāo)準(zhǔn)處理流數(shù)據(jù)開發(fā)了多種解決方案,使得SQL程序員需要理解各種方案及相關(guān)用法,增加了大數(shù)據(jù)系統(tǒng)的開發(fā)難度,降低了大數(shù)據(jù)系統(tǒng)的開發(fā)效率。中國代表團(tuán)的提案通過將MapReduce方法合并到SQL標(biāo)準(zhǔn)中,使SQL程序員可方便地通過標(biāo)準(zhǔn)的SQL語言使用MapRedece。符合該標(biāo)準(zhǔn)的大數(shù)據(jù)平臺將極大降低大數(shù)據(jù)系統(tǒng)的開發(fā)難度,并顯著提高大數(shù)據(jù)系統(tǒng)的開發(fā)效率。
據(jù)悉,該提案于 2015年10月在日本東京召開的ISO/IEC JTC 1/ SC 32/WG 3 數(shù)據(jù)庫語言工作組會議上提出。在該次會議上,中國代表團(tuán)匯報(bào)了該提案的初步設(shè)想,得到WG 3召集人和參會專家的高度肯定。為準(zhǔn)備該提案,中國信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會秘書處于今年3月23日,在北京組織召開的《SQL對MapReduce及與之相關(guān)的流數(shù)據(jù)處理的支持》國際標(biāo)準(zhǔn)提案論證會,專門對由中國電子技術(shù)標(biāo)準(zhǔn)化研究院院聯(lián)合柏睿數(shù)據(jù)科技北京有限公司提出的該提案進(jìn)行研討,后評審組一致同意中國電子標(biāo)準(zhǔn)化研究院與柏睿數(shù)據(jù)科技北京有限公司共同代表中國提交該國際標(biāo)準(zhǔn)提案。
評審會專家認(rèn)為,該提案標(biāo)志著我國大數(shù)據(jù)領(lǐng)域國際標(biāo)準(zhǔn)化工作取得重大突破,提升了我國在數(shù)據(jù)庫語言領(lǐng)域的標(biāo)準(zhǔn)話語權(quán)。
該提案創(chuàng)始提出人、柏睿數(shù)據(jù)科技(北京)有限公司董事長劉睿民認(rèn)為,該提案的通過,不僅說明中國核心大數(shù)據(jù)基礎(chǔ)技術(shù)的發(fā)展正在趕超國際水平,歷年來由美國、德國一統(tǒng)天下的高端數(shù)據(jù)庫核心技術(shù),已經(jīng)被中國突破;更使得大數(shù)據(jù)產(chǎn)業(yè)發(fā)展能夠有章可循、有據(jù)可依,劉睿民特別強(qiáng)調(diào)中國技術(shù)業(yè)已全面突破國際大數(shù)據(jù)核心技術(shù)壁壘實(shí)現(xiàn)真正意義上的國產(chǎn)化,只有國產(chǎn)化數(shù)據(jù)核心技術(shù)在自己手里,國家各個(gè)層面的數(shù)據(jù)安全才能得以有效保證。把數(shù)據(jù)裝到別人家的倉庫里,由別人的倉庫管理員管理自己的數(shù)據(jù),再談數(shù)據(jù)安全其實(shí)是一種安全偽命題。以前不談是因?yàn)榧夹g(shù)無法做到,無從談起,現(xiàn)在技術(shù)達(dá)到在國際上制定國際標(biāo)準(zhǔn)的領(lǐng)先水平了,我國現(xiàn)在應(yīng)該可以進(jìn)入大數(shù)據(jù)引領(lǐng)的高科技發(fā)展快車道。