2014年12月12-14日，由中國計(jì)算機(jī)學(xué)會(huì)(CCF)主辦，CCF大數(shù)據(jù)專家委員會(huì)承辦，中科院計(jì)算所與CSDN共同協(xié)辦，以推進(jìn)大數(shù)據(jù)科研、應(yīng)用與產(chǎn)業(yè)發(fā)展為主旨的 2014中國大數(shù)據(jù)技術(shù)大會(huì) (Big Data Technology Conference 2014，BDTC 2014)暨第二屆CCF大數(shù)據(jù)學(xué)術(shù)會(huì)議在北京新云南皇冠假日酒店盛大開幕。

星環(huán)科技CTO孫元浩的演講主題是“2015年大數(shù)據(jù)基礎(chǔ)技術(shù)的演進(jìn)趨勢”。期間，他一共總結(jié)了四大趨勢：SQL on Hadoop技術(shù)對SQL支持的完整度和性能大幅提升，混合架構(gòu)將逐漸消失;從In-Memory Computing 轉(zhuǎn)向 On-SSD Computing，固態(tài)盤將替代內(nèi)存作為緩存;數(shù)據(jù)產(chǎn)生的速度以及處理的速度要求都在快速提高，實(shí)時(shí)大數(shù)據(jù)技術(shù)得到關(guān)注;虛擬化技術(shù)的快速演化與Hadoop技術(shù)的日益平臺化，云計(jì)算與大數(shù)據(jù)終得融合。期間，他分享了Spark的一個(gè)數(shù)據(jù)：全球已有近50家企業(yè)圍繞Spark提供產(chǎn)品和服務(wù)，11家提供商業(yè)Spark版本。

星環(huán)科技CTO孫元浩

以下為演講實(shí)錄：

孫元浩：

謝謝大家，謝謝查教授，我今天演講的題目是2015年大數(shù)據(jù)技術(shù)的演進(jìn)趨勢，過去我們一直從事大數(shù)據(jù)實(shí)踐，有一些心得跟大家分享一下。我們做了明年的預(yù)測，邀請大家一起驗(yàn)證。

第一個(gè)趨勢是隨著SQL on Hadoop技術(shù)的快速發(fā)展，SQL完整程度的大幅提高和性能提升，我們認(rèn)為混合架構(gòu)逐漸開始消失。

這里我解釋一下為什么出現(xiàn)混合架構(gòu)，在過去幾年當(dāng)中Hadoop這個(gè)技術(shù)最早開始互聯(lián)網(wǎng)公司使用，十年之前開始發(fā)展，幾年前互聯(lián)網(wǎng)公司在企業(yè)里面用得越來越多，它處理非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)非常有利，但是處理結(jié)構(gòu)化數(shù)據(jù)的時(shí)候功能不完整，用戶覺得應(yīng)該還需要使用數(shù)據(jù)庫，或者M(jìn)PP數(shù)據(jù)庫，放在Hadoop旁邊協(xié)助處理結(jié)構(gòu)化的數(shù)據(jù)。第二個(gè)原因Hadoop是為幾百TB，幾個(gè)PB數(shù)據(jù)設(shè)計(jì)的，但是數(shù)據(jù)量小的時(shí)候，小于100T或者到10個(gè)T以下的時(shí)候，大家發(fā)現(xiàn)Hadoop的性能不如傳統(tǒng)的MPP數(shù)據(jù)庫，這時(shí)大家覺得有必要使用混合架構(gòu)，把全部數(shù)據(jù)放在Hadoop上，部分?jǐn)?shù)據(jù)放到MPP數(shù)據(jù)庫進(jìn)行計(jì)算，或者把實(shí)時(shí)數(shù)據(jù)放到MPP數(shù)據(jù)庫，把歷史數(shù)據(jù)放到Hadoop里面，當(dāng)數(shù)據(jù)量積累很大的時(shí)候也讓Hadoop計(jì)算，這是混合架構(gòu)典型的部署方式。

我們看到過去的三年當(dāng)中Hadoop發(fā)展非常迅猛，很多公司快速做SQL開發(fā)，性能也有很大提升。我們總結(jié)了一下市場上大概有四種SQL on Hadoop的技術(shù)，我是說Hadoop系統(tǒng)里面原生開發(fā)SQL引擎的公司和技術(shù)。第一個(gè)是Impala，它的引擎采用類似于MPP的引擎。第二家是Tez，它吸收了Spark的一些設(shè)計(jì)思想。這個(gè)產(chǎn)品是2012年大概五六月份開始成型。第三個(gè)我們公司的產(chǎn)品我們叫做Transwarp Inceptor，這是基于Spark開發(fā)的SQL引擎，我們?nèi)ツ?0月份是第一個(gè)版本，目前支持SQL2003，支持函數(shù)、游標(biāo)等功能，我們SQL完整程度目前是所有Hadoop里面支持最完整的。同時(shí)，還有 SparkSQL和Drill。四類引擎每一個(gè)都在獨(dú)立發(fā)展自己的技術(shù)，而Spark會(huì)成為一個(gè)主流。我們已經(jīng)可以支持TPC-DS所有的測試項(xiàng)，TPC-DS是用來衡量數(shù)據(jù)倉庫的執(zhí)行性能的，里面有大量的非等值JOIN語句，這使SQL引擎支持比較有難度的。

我們做的第一個(gè)判斷是混合架構(gòu)會(huì)逐漸的消失，過去MPP數(shù)據(jù)庫有三個(gè)優(yōu)勢，第一個(gè)SQL支持完整，現(xiàn)在我們的SQL支持程度已經(jīng)接近MPP數(shù)據(jù)庫;第二個(gè)它比Hadoop性能高，但我們看到現(xiàn)在Hadoop性能可以超過MPP若干倍。第三個(gè)優(yōu)勢就是說它上面的BI工具，外延工具非常全，傳統(tǒng)的BI廠商都已經(jīng)轉(zhuǎn)向Hadoop，Hadoop系統(tǒng)的BI工具也越來越豐富，還有一些新興的創(chuàng)業(yè)公司在Hadoop上開發(fā)全新的BI工具，這些工具原生支持Hadoop，從這個(gè)角度來講Hadoop的生態(tài)系統(tǒng)將很快超越傳統(tǒng)MPP數(shù)據(jù)庫。

我們覺得在未來一年兩年之內(nèi)，Hadoop將逐漸取代MPP數(shù)據(jù)庫，大家不需要用混合架構(gòu)，不需要在不同數(shù)據(jù)庫之間實(shí)現(xiàn)遷移了。有人說我MPP也在遷移，慢慢向Hadoop靠攏，這也是事實(shí)，整個(gè)MPP的數(shù)據(jù)庫在慢慢消失，完全走到Hadoop上面來。我們希望最后結(jié)果就是數(shù)據(jù)全部放在Hadoop上，不管數(shù)據(jù)在幾個(gè)GB級別還是10個(gè)PB級別，都可以在Hadoop上處理，真正做到無限的線性擴(kuò)展。

我們發(fā)現(xiàn)一個(gè)事實(shí)現(xiàn)在Spark成為最受歡迎的計(jì)算引擎，Impala已經(jīng)開發(fā)了三年時(shí)間，SQL支持仍然不夠完整，而通過Spark可以快速并行化SQL，SQL支持的完整程度可以快速提高。同時(shí)，通過Spark引擎我們證明新引擎性能可以超過MPP數(shù)據(jù)庫。從今年開始Hadoop的社區(qū)發(fā)展非?？焖?，今年六月份的時(shí)候Spark Summit大會(huì)上，原來Hadoop生態(tài)系統(tǒng)中的各個(gè)廠商或項(xiàng)目都宣布開始全面支持Spark。我做了簡單的統(tǒng)計(jì)，全球已經(jīng)有近50家企業(yè)圍繞Spark提供產(chǎn)品和服務(wù)，其中有11家提供商業(yè)的Spark版本，這是這里面所有的11家公司，我們也是認(rèn)證的Spark發(fā)行版廠商。

第二個(gè)趨勢過去大家談內(nèi)存計(jì)算談高效迭代計(jì)算，當(dāng)時(shí)大家覺得這是非常好的方向，把數(shù)據(jù)放進(jìn)內(nèi)存進(jìn)行緩存，內(nèi)存速度是磁盤百倍到千倍，我們把這種技術(shù)應(yīng)用到現(xiàn)實(shí)當(dāng)中發(fā)現(xiàn)，內(nèi)存容量小和價(jià)格高是比較大的限制條件，把所有數(shù)據(jù)全放內(nèi)存的時(shí)候，像Spark，和Hadoop都是運(yùn)行在JVM上的，內(nèi)存大的時(shí)候，GC影響非常嚴(yán)重，我們能不能用更好的方式緩存數(shù)據(jù)?隨著硬件技術(shù)的發(fā)展我們發(fā)現(xiàn)內(nèi)存可以被大容量的SSD取代做緩存，這個(gè)也是非常明顯的趨勢。

這張圖列出了SSD硬件技術(shù)的發(fā)展，最底層是硬盤，現(xiàn)在SSD有幾個(gè)量級的提升，我們拿市場上英特爾P3700 PCIe SSD的數(shù)據(jù)為例，讀性能是每秒鐘46萬次，是硬盤的一千倍，吞吐量是硬盤10倍以上。還有一些廠商把SSD插在內(nèi)存卡槽，做成內(nèi)存條的形式。目前做的性能不如P3700，未來性能會(huì)逐漸的提升。SSD的內(nèi)存相比性能對比顯得沒有這么大，因?yàn)橥掏铝績?nèi)存的數(shù)據(jù)是8.5GB/s，PCIe的SSD是2.8GB/s也就是只有三四倍的差距，SSD 的性能已經(jīng)開始向內(nèi)存接近，同時(shí)這個(gè)價(jià)格也在迅速下降，SSD公司在中國市場非常多，整個(gè)價(jià)格下降非常明顯，今天中國市場可以以一萬塊錢到兩萬塊錢買1TB的SSD，如果你買內(nèi)存條只能買128GB的內(nèi)存條，我們認(rèn)為用SSD替代是比較好的方案。這是我們一組數(shù)據(jù)，把數(shù)據(jù)放在磁盤、內(nèi)存和SSD上的對比。第一個(gè)我們發(fā)現(xiàn)我們把數(shù)據(jù)放在磁盤上，性能作為1的話，我們發(fā)現(xiàn)內(nèi)存的性能仍然是最高的，藍(lán)色的線是數(shù)據(jù)放在內(nèi)存中的統(tǒng)計(jì)性能，紅色的線是PCIe SSD的性能，SSD性能跟內(nèi)存比較接近，我們看到每一個(gè)測試場景性能對比圖，發(fā)現(xiàn)性能差距最多在30%，平均性能差異9.6%，基本控制在10%以內(nèi)，你可以以十分之一的價(jià)格達(dá)到內(nèi)存只差10%的性能的產(chǎn)品，你原來放在內(nèi)存里可能只有幾百GB或者幾個(gè)TB的數(shù)據(jù)，現(xiàn)在你可以把幾十TB的東西放在SSD上進(jìn)行數(shù)據(jù)分析。

Hadoop2.6提出來一個(gè)概念，叫做Storage Tier，在HDFS上提供幾層存儲，一層是磁盤層，一層是SSD層，還有內(nèi)存層，我可以指定你文件放在哪個(gè)層上面，以128MB數(shù)據(jù)塊為單位，決定放在哪一層上面，以為這樣性能可以迅速提升。我們很快發(fā)現(xiàn)其實(shí)沒有那么簡單，Hadoop是最早為大容量低速磁盤設(shè)計(jì)的，SSD比普通磁盤順序讀寫性能大10倍，它隨機(jī)訪問性能是磁盤的一千倍，你如果不能利用隨機(jī)訪問的性能優(yōu)勢，你的提升不會(huì)像硬件指標(biāo)這么顯著。我們試過ORC格式，性能只比普通硬盤提升不到3倍。我們覺得明年這里有兩個(gè)趨勢，第一個(gè)趨勢是基于磁盤的Hadoop慢慢開始為SSD做優(yōu)化，未來會(huì)有更多的優(yōu)化針對SSD專門做的。第二個(gè)趨勢內(nèi)存數(shù)據(jù)庫這樣廠商也開始覺得內(nèi)存不夠用，我不可能把所有數(shù)據(jù)都放在內(nèi)存里，可能是幾十T的數(shù)據(jù)我需要大容量的介質(zhì)，SSD是理想的替代，已經(jīng)有很多傳統(tǒng)數(shù)據(jù)庫廠商覺得他的數(shù)據(jù)庫要專門為SSD做優(yōu)化。我們設(shè)計(jì)了一種新的數(shù)據(jù)格式，叫做holodesk，以前Spark把數(shù)據(jù)放在內(nèi)存里，我們首先把數(shù)據(jù)從Spark當(dāng)中剝離出來，放到一個(gè)外部的介質(zhì)上面。然后放到SSD上進(jìn)行存儲編碼壓縮，這里面采用了我們自己專有的編碼技術(shù)，當(dāng)然也有一些索引在上面，做了這個(gè)改造以后性能有比較大的提升。這里有一個(gè)測試對比，我們比較四種組合情況，一種是基于磁盤文本格式的，第二種在SSD運(yùn)行TPC-DS的部分結(jié)果，我們選TPC-DS部分的場景，因?yàn)橛械膱鼍笆荂PU密集型的，磁盤性能不是瓶頸，可能不一定有提升，所以我們選一些IO密集型的場景來測。大家很快發(fā)現(xiàn)如果我不改變文件格式，同樣文件放在磁盤和放在SSD，它的性能最高提升了1.5倍。這跟我們兩三年前做過測試一樣，我們把Hadoop集群的DataNode全換成SSD，性能提升大概是40%。把這個(gè)數(shù)據(jù)變成ORC格式，確實(shí)有助于提升性能，我可以過濾很多數(shù)據(jù)，可以充分高SSD的性能，這個(gè)格式性能額外得到了2.7倍的提升。但是這個(gè)還不夠，還沒有完全發(fā)揮SSD性能的優(yōu)勢，所以我們采用了我們設(shè)計(jì)的holodesk存儲格式，我們采用編碼方式也有點(diǎn)與眾不同，用了這個(gè)存儲格式以后比ORC再提升2倍以上，有些純粹是IO密集的測試場景，可以提升五倍到十倍左右。如果采用新的列式存儲方式，我們性能可以比磁盤快8到10倍，相信未來更多軟件會(huì)專門利用SSD的這種特性。

第三個(gè)趨勢隨著現(xiàn)在傳感器網(wǎng)絡(luò)、物聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)產(chǎn)生的速度越來越快，當(dāng)然在互聯(lián)網(wǎng)里面早就有實(shí)時(shí)數(shù)據(jù)產(chǎn)生，使得實(shí)時(shí)大數(shù)據(jù)的技術(shù)慢慢開始得到更多的關(guān)注，我們預(yù)計(jì)明年有更多的應(yīng)用。

怎么來處理實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)。Nathan提出了Lambda Architecture的架構(gòu)。實(shí)時(shí)數(shù)據(jù)進(jìn)入一個(gè)流處理系統(tǒng)進(jìn)行檢測分析，同時(shí)也進(jìn)入Hadoop，全量數(shù)據(jù)放在Hadoop對歷史數(shù)據(jù)進(jìn)行分析，兩者結(jié)果做融合，然后應(yīng)用程序訪問這個(gè)數(shù)據(jù)庫做分析。今天為止沒有哪個(gè)技術(shù)既能處理實(shí)時(shí)數(shù)據(jù)又能處理大量歷史數(shù)據(jù)，所以Nathan提出了這樣一個(gè)混合的架構(gòu)，這個(gè)混合架構(gòu)受到很多人的追捧。這種架構(gòu)實(shí)時(shí)數(shù)據(jù)流里面處理完之后仍掉了，只把結(jié)果放在里面，也就是我不能對實(shí)時(shí)數(shù)據(jù)進(jìn)行隨機(jī)的查詢，這是第一個(gè)問題。我把隨時(shí)數(shù)據(jù)和歷史數(shù)據(jù)分離后，我怎么形成統(tǒng)一的視圖，怎么最后拼接起來，這是比較難的事情。第三個(gè)這個(gè)Serving DB可以完成快速查詢但是不能做統(tǒng)計(jì)分析。這三個(gè)弱點(diǎn)很快大家意識到了，很快大家想出一個(gè)辦法，有一個(gè)項(xiàng)目叫Druid，這個(gè)項(xiàng)目得到大家比較多的關(guān)注，現(xiàn)在Twitter和雅虎采用這種實(shí)時(shí)數(shù)據(jù)分析。Druid解決了兩個(gè)問題，把實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)全部拼接起來變成一張視圖，它內(nèi)部把實(shí)時(shí)數(shù)據(jù)離線的收集起來拼成一個(gè)歷史視圖進(jìn)行分析。Druid解決了快速采集和統(tǒng)一視圖的問題，但是它還不能解決復(fù)雜統(tǒng)計(jì)和挖掘的問題。比較理想的架構(gòu)最好是數(shù)據(jù)經(jīng)過流處理以后直接進(jìn)入一個(gè)數(shù)據(jù)庫，這個(gè)數(shù)據(jù)庫可以完整把實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)拼接起來，在上面既做高速查詢又能做迭代分析，這是比較理想的，這樣可以省去維護(hù)兩套架構(gòu)的麻煩，而且既能對實(shí)時(shí)數(shù)據(jù)進(jìn)行分析，又能對歷史數(shù)據(jù)進(jìn)行分析，這是比較理想的架構(gòu)，現(xiàn)在大家還在想有什么實(shí)現(xiàn)的方法。我們做了一個(gè)嘗試，這是我們在應(yīng)用大數(shù)據(jù)技術(shù)到國內(nèi)各個(gè)行業(yè)的時(shí)候發(fā)現(xiàn)的普遍問題，這個(gè)驅(qū)動(dòng)力來自于交通流的實(shí)時(shí)分析，如果我們部署整個(gè)集群的時(shí)候，他們希望看到早高峰晚高峰任何一個(gè)時(shí)刻每個(gè)路口的實(shí)時(shí)狀況，一旦發(fā)生交通事故，某個(gè)地方產(chǎn)生擁堵會(huì)有連鎖反應(yīng)，產(chǎn)生連鎖反應(yīng)后需要快速分析這種情況的影響，這種情況用剛才的Lambda架構(gòu)也不能很好實(shí)現(xiàn)。我們開發(fā)了分布式的緩存holodesk，存在內(nèi)存或者是SSD上的，當(dāng)實(shí)時(shí)數(shù)據(jù)流到里面去的時(shí)候，我們先用Spark Streaming進(jìn)行實(shí)時(shí)檢測和告警處理，這是一個(gè)批處理系統(tǒng)，可以短到一百毫秒，再小的延時(shí)現(xiàn)在還不能實(shí)現(xiàn)，Spark本身框架延時(shí)比較長。進(jìn)入Spark內(nèi)存以后同時(shí)我們在上面可以做非常多的實(shí)時(shí)的檢測甚至是實(shí)時(shí)的挖掘，同時(shí)這個(gè)結(jié)果以及原有數(shù)據(jù)我們映射成二維關(guān)系表，做一個(gè)SQL轉(zhuǎn)化，轉(zhuǎn)化成一個(gè)歷史存儲。過去我們可以放在內(nèi)存里，但是內(nèi)存容量不夠我們把全量數(shù)據(jù)放到SSD上，我們的holodesk支持快速插入，這樣我可以把所有實(shí)時(shí)數(shù)據(jù)包括歷史數(shù)據(jù)可以全部緩存到SSD上，這個(gè)集群可能是10個(gè)節(jié)點(diǎn)20個(gè)節(jié)點(diǎn)，你可以存放幾年交通數(shù)據(jù)，這樣可以對歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)進(jìn)行很完整的分析。這個(gè)轉(zhuǎn)化也是非常快的，我們支持高速的數(shù)據(jù)插入，數(shù)據(jù)持久性也得到保證，因?yàn)閿?shù)據(jù)在SSD上，即使掉線也沒有問題。這種方案解決了三個(gè)問題，第一個(gè)是可以有一個(gè)統(tǒng)一的視圖，不管是歷史還是實(shí)時(shí)都有，第二是可以通過標(biāo)準(zhǔn)SQL或者R語言做任意復(fù)雜的分析，第三是數(shù)據(jù)持久化問題也解決了。還有一個(gè)問題沒有解決，如果把這個(gè)數(shù)據(jù)給在線用戶訪問，這個(gè)并發(fā)度還不夠。改進(jìn)的方法是一方面我們盡量降低查詢的延時(shí)，另外我們也需要擴(kuò)大集群規(guī)模來提高并發(fā)度。這個(gè)方案很好地解決了交通行業(yè)面臨的問題。這個(gè)問題蠻普遍的，不光是交通行業(yè)，還有網(wǎng)站點(diǎn)擊日志，我們也可以用這個(gè)方式做分析，我們可以對傳感器的數(shù)據(jù)，例如工廠里傳感器的數(shù)據(jù)進(jìn)行快速的分析，而且傳感器的數(shù)據(jù)可以全部在一張表里面。

第四隨著虛擬化技術(shù)快速演進(jìn)，我們說云計(jì)算和大數(shù)據(jù)終于可以融合起來了。

虛擬機(jī)幫助快速部署已經(jīng)得到了時(shí)間的驗(yàn)證，這種方式把一臺機(jī)器拆分到很多小機(jī)器，每臺機(jī)器給用戶使用。大數(shù)據(jù)覺得一臺機(jī)器不夠，我需要上千臺、幾百臺機(jī)器組成一臺機(jī)器處理。這個(gè)怎么融合起來，是不是我把虛擬機(jī)替代物理機(jī)做成了一個(gè)集群?這個(gè)嘗試基本上都是失敗的，因?yàn)镮O的瓶頸是非常嚴(yán)重的，特別是在虛擬機(jī)跑大數(shù)據(jù)應(yīng)用，CPU利用往往達(dá)到99%，很少有人在虛擬機(jī)上把CPU用到99%，這樣對hypervisor是很大的考驗(yàn)，穩(wěn)定性成為一個(gè)大問題。最近一兩年虛擬化技術(shù)在快速發(fā)展，不亞于一場新的技術(shù)革命。首先輕量級的Linux container技術(shù)出現(xiàn)，container之間可以做資源隔離，這使得虛擬機(jī)變得非常輕量級。很快一家公司叫做Docker發(fā)現(xiàn)應(yīng)用打包遷移安裝還是不方便，所以做了一個(gè)工具，使得你做應(yīng)用打包遷移非常容易。大家發(fā)現(xiàn)還不大夠，因?yàn)槲乙獎(jiǎng)?chuàng)立單個(gè)container或者單個(gè)應(yīng)用比較容易，但是多個(gè)container應(yīng)用就很麻煩。谷歌開發(fā)一個(gè)開源項(xiàng)目叫做Kubernetes， 簡化了創(chuàng)建container集群的任務(wù)，你可以非常方便的創(chuàng)建Hadoop集群，也可以創(chuàng)建傳統(tǒng)的應(yīng)用，提供多container集群的部署同時(shí)也提供一些基礎(chǔ)服務(wù)，比如說一些調(diào)度服務(wù)，這開始具備分布式操作系統(tǒng)的雛形。另外一個(gè)方向像大數(shù)據(jù)領(lǐng)域去年推出Hadoop2.0資源管理的框架YARN，這個(gè)確實(shí)是革命性的，因?yàn)榘奄Y源管理放在最底層，在上面可以跑多種計(jì)算框架，我們覺得可以一統(tǒng)天下了。隨后大家發(fā)現(xiàn)YARN資源隔離做得不夠好，內(nèi)存/磁盤/IO沒有管好。因此Hortonworks嘗試把Google Kubernetes作為YARN的一個(gè)Application Manager, 內(nèi)部用Docker進(jìn)行資源調(diào)度。而另一家公司mesosphere異軍突起，以mesos為資源調(diào)度核心，以docker作為container的管理基礎(chǔ)工具，開發(fā)了一套分布式資源管理的框架，提出了數(shù)據(jù)中心操作系統(tǒng)的概念。這家公司最近融資了數(shù)千萬美元。盡管底層技術(shù)在快速變化，但不妨礙一些公司已經(jīng)提供Hadoop as a Service的服務(wù)，例如AltiScale，BlueData，Xplenty等。

大家看到在這個(gè)領(lǐng)域過去一兩年發(fā)生了革命，從底層虛擬化技術(shù)到上層都在發(fā)生非常大的變化。逐漸引出了數(shù)據(jù)中心操作系統(tǒng)的概念。我們把數(shù)據(jù)中心操作系統(tǒng)分成三層，最底層就跟操作系統(tǒng)內(nèi)核是一樣的，可以方便的創(chuàng)建方便銷毀計(jì)算資源，包括對CPU/網(wǎng)絡(luò)/內(nèi)存/存儲進(jìn)行處理。同時(shí)我們還需要多個(gè)服務(wù)之間能夠發(fā)現(xiàn)這種機(jī)制，這種機(jī)制是目前還是缺乏的，我們需要在這一層繼續(xù)往上加一些基礎(chǔ)服務(wù)。再往上是平臺服務(wù)，我們可以創(chuàng)建Hadoop、Spark等我們可以部署這樣傳統(tǒng)應(yīng)用。這種架構(gòu)提出來我們發(fā)現(xiàn)現(xiàn)在市場上有幾種，兩個(gè)技術(shù)方向，我們不知道哪一種會(huì)獲勝。一個(gè)方向是把YARN作為資源調(diào)度的基礎(chǔ)，Kubernetes作為運(yùn)行在YARN上的某一個(gè)應(yīng)用框架，但實(shí)際上Kubernetes是和YARN并列在同一層的。另外一個(gè)技術(shù)方向是把調(diào)度器抽象出來作為plugin，例如YARN和mesos都可以作為Kubernetes的調(diào)度器，當(dāng)然也可以實(shí)現(xiàn)自己的調(diào)度程序;使用docker或者coreOS進(jìn)行container的管理，而hadoop等分布式服務(wù)運(yùn)行在Kubernetes之上。對下能夠提供資源隔離和管理，對上面能夠提供各種服務(wù)，包括Hadoop生態(tài)系統(tǒng)的各種服務(wù)，這個(gè)可能是明年的主流趨勢，現(xiàn)在還很難判斷誰會(huì)獲勝，但是我更傾向于第二種，我們可以首先嘗試這兩種方案，看哪種方案更有生命力。

總結(jié)一下就是我們把明年的發(fā)展趨勢歸納成四個(gè)，一個(gè)混合架構(gòu)會(huì)逐漸消失，第二個(gè)我們發(fā)現(xiàn)SSD慢慢替代內(nèi)存作用緩存，因?yàn)樾詢r(jià)比更高。第三實(shí)時(shí)大數(shù)據(jù)技術(shù)得到廣泛關(guān)注和應(yīng)用，第四云計(jì)算與大數(shù)據(jù)終于可以融合。這里做個(gè)廣告，星環(huán)科技是目前國內(nèi)極少數(shù)掌握企業(yè)級大數(shù)據(jù)Hadoop和Spark核心技術(shù)的高科技公司，從事大數(shù)據(jù)時(shí)代核心平臺數(shù)據(jù)庫軟件的研發(fā)與服務(wù)。公司產(chǎn)品Transwarp Data Hub (TDH)的整體架構(gòu)及功能特性比肩硅谷同行，產(chǎn)品性能在業(yè)界處于領(lǐng)先水平。在全球去IOE的大背景下，Hadoop已成為公認(rèn)的替代傳統(tǒng)數(shù)據(jù)庫的技術(shù)。大家可以去外面展臺看看我們新版本，歡迎有興趣的同學(xué)加入我們公司。