科技在進步，市場在變化，軟硬件條件突飛猛進般發(fā)展的同時，企業(yè)的需求也不斷升級。例如從離線到在線的轉(zhuǎn)變，規(guī)模效應(yīng)的需求，更低的成本需求都刺激著Hadoop生態(tài)圈的進步和壯大。

2014業(yè)內(nèi)值得關(guān)注的事情

1. Hortonworks上市

Hortonworks于2014年11月11日向美國證監(jiān)會提出IPO申請，這標(biāo)志著Hadoop技術(shù)發(fā)展開始走入商業(yè)階段，更標(biāo)志著Hadoop從2014年開始真正的“成熟”了。

2. Hadoop2.0開始大規(guī)模落地

Hadoop2.0 從提出到發(fā)展至今經(jīng)歷了數(shù)年時間，國內(nèi)外有很多公司在嘗試Hadoop2.0的架構(gòu)，但在這個階段引領(lǐng)業(yè)內(nèi)潮流的并非主流大企業(yè)，率先嘗試的反而是一些小公司。2013年Yahoo!開始嘗試Hadoop2.0，并有了業(yè)內(nèi)最大的Yarn集群，擁有將近4500臺機器，國內(nèi)如阿里、美團等企業(yè)都在嘗試 Yarn，目前都有上千臺的規(guī)模，2014年騰訊Yarn集群規(guī)模接近萬臺。

3. 國內(nèi)Spark氛圍漸濃，欲與Hadoop試比高

2014 年Spark是個爆發(fā)年，這一年里Spark社區(qū)快速發(fā)布了多個版本，最高發(fā)布版本已經(jīng)到了1.2.0。Spark Core之外的部分：Spark廢棄了Shark，然后大力發(fā)展Spark SQL，與此同時Spark Streaming也更為成熟。Spark Core：Spark社區(qū)內(nèi)部優(yōu)化無數(shù)，空前活躍，各種會議、研究、探討，圍繞Spark本身的周邊配套系統(tǒng)也越來越多，形成了Hadoop這個大生態(tài)圈之內(nèi)不可忽視的小生態(tài)圈。國內(nèi)外大小企業(yè)都在嘗試Spark，在業(yè)務(wù)和規(guī)模方面都取得一定成績：根據(jù)公開資料，eBay構(gòu)建了一個大約2000臺的 Spark集群;騰訊構(gòu)建了一個大約2000臺的Spark集群，通過Spark挖掘運算之后的模型提供給廣告推薦使用，給騰訊廣告帶來百億規(guī)模的收入;百度構(gòu)建了大約1300臺的Spark集群。

盤點2014年展望2015的技術(shù)發(fā)展

【HDFS：高度挖掘資源利用率的存儲】

2014年HDFS發(fā)布了以下主要特性。

1. 更方便的在線升級

HDFS開始支持在線升級，并且FSImage通過ProtocolBuffer序列化與反序列化，由于ProtocolBuffer的數(shù)據(jù)結(jié)構(gòu)兼容性較好，元數(shù)據(jù)升級也更為方便。

2. 異構(gòu)存儲

在 HDFS支持異構(gòu)存儲媒介之前，HDFS假設(shè)底層存儲媒介是同構(gòu)的，性能完全一樣，比如全是HDD(機械盤)，但隨著新型媒介的出現(xiàn)以及對應(yīng)成本的下降，很多公司開始嘗試使用新的存儲媒介，比如SSD?；诖?，HDFS也緊跟時代發(fā)展潮流，支持異構(gòu)存儲媒介，即一個HDFS的各個存儲節(jié)點上可以指定若干不同的存儲媒介，比如HDD、SSD等，這樣，用戶可以根據(jù)應(yīng)用特點將不同類型數(shù)據(jù)存儲在不同媒介上，以滿足性能需求。

3. 集中管理的DataNode緩存

目前HDFS中DataNode上緩存的數(shù)據(jù)并沒有通過適當(dāng)途徑暴露給外界應(yīng)用程序，尤其是像Spark、Hive、Pig、Impala等計算框架無法充分利用DataNode內(nèi)存進行計算、優(yōu)化。該功能將集中管理DataNode緩存，并統(tǒng)一控制哪些文件需要加載到緩存中來，提高讀取性能。

4. 端到端的加密

HDFS實現(xiàn)了一個透明的、端到端的加密方式。一旦配置了加密，從HDFS讀出數(shù)據(jù)解密和寫入數(shù)據(jù)加密的過程對用戶應(yīng)用程序來說都是透明的。加密過程是端到端的，這意味著數(shù)據(jù)只能在應(yīng)用程序解密。

5. Archival Storage

將計算能力與不斷增長的存儲能力分離。擁有高密度低成本的存儲但計算能力較低的節(jié)點利用率將變得更高，比如可以在集群中做冷存儲。增加更多此類節(jié)點作冷存儲可以提高集群的存儲能力，跟集群的計算能力無關(guān)。

未來HDFS社區(qū)將發(fā)展跨數(shù)據(jù)中心的容災(zāi)。

目前的HDFS只能做到機房內(nèi)的容災(zāi)，不支持跨機房部署，因此無法提供更大規(guī)模的全球可用服務(wù);在跨機房同步數(shù)據(jù)方面也只能依賴一些導(dǎo)入導(dǎo)出工具離線操作。HDFS計劃未來支持多機房部署，實現(xiàn)跨機房容災(zāi)，零丟失率，低延時。

【Yarn：面向通用化和服務(wù)化】

社區(qū)對Yarn的定位開始更加面向在線服務(wù)，比如7×24小時的服務(wù)，與此同時系統(tǒng)需要更加健壯。2014年Yarn發(fā)布了以下主要特性。

1. ResourceManager HA

在Hadoop 2.4.1版本中Resource-Manager新增HA功能，這意味著集群中最大的單點解決了，系統(tǒng)可用性大大提升。

2. 支持Docker

Yarn 的新版本中，支持了Docker。Yarn將使用Docker解決每個Container執(zhí)行環(huán)境的問題。使用Docker的Yarn集群將得到更好地資源隔離性，并可以更快速地部署。Docker有強大的鏡像存儲和分發(fā)能力，開發(fā)者可以很方便地從鏡像中心獲取Hadoop Yarn應(yīng)用的鏡像。

Yarn未來社區(qū)發(fā)展方向

社區(qū)正在針對NodeManager HA特性研發(fā)，不久之后就會問世。從2014年的發(fā)展和社區(qū)最新的動向來看，社區(qū)對Yarn的定位是離線與在線通吃。

【Spark：高度活躍的小生態(tài)圈】

Spark社區(qū)在2014年里共發(fā)布了四個版本，平均每個季度一個，這里每個版本都有一些新的特性，使得Spark功能越來越豐富，更加可靠和高效。

2014年Spark發(fā)布了主要以下特性。

1. Standalone模式HA

增加Standalone模式下運行的HA功能，使得Spark Streaming的Driver在Standalone模式下掛掉后可自動恢復(fù)。

2. GraphX

增加了多個算法，包括PageRank、SVD++、標(biāo)簽傳播算法并進入穩(wěn)定版本。

3. Mllib

新增SVN、PCA、L-BFGS、Word2Vec和TF-IDF、Navie Bayes、Random forests和Gradient-boosted算法，并支持learning pipelines機制，這使得多個算法可以在一遍處理過程中執(zhí)行完成。

4. Spark SQL

已經(jīng)與Hive 0.13兼容，并可以支持動態(tài)分區(qū)插入，同時引入了動態(tài)字節(jié)碼生成功能，同時支持多種語言編寫的UDF函數(shù)。

5. Driver HA

實現(xiàn)了通過WAL機制來保證HA。

未來Spark社區(qū)

Spark社區(qū)發(fā)展快速，已經(jīng)形成了Hadoop生態(tài)圈下的小生態(tài)圈，并且以獨立形式運作，支持高效的內(nèi)存文件系統(tǒng)和更快速，更豐富的計算，成為Hadoop一個強有力的補充計算引擎。

【MR：持續(xù)優(yōu)化】

MapReduce發(fā)布以下主要特性。

1. Shuffle Handler提供了keep-alive機制，提高了Shuffle的效率。

2. 提供了斷點恢復(fù)的機制，這使得已完成MapTask不需要因為NodeManger重啟而重跑。

3. 計算前數(shù)據(jù)切分，獲取文件信息并行化。

4. 提供了Rehash Partitioner機制，這個方案使Key的分布更均勻。

5. ApplicationManger由于ResourceManger HA的特性減少了失敗重跑的代價。

6. 支持任務(wù)內(nèi)資源搶占機制。

未來社區(qū)發(fā)展方向

1. 由于搶占機制的引入提高了資源被搶占的概率，但為了減少Task被搶占的代價，Task斷點恢復(fù)的機制加入到規(guī)劃當(dāng)中。

2. 當(dāng)前中間結(jié)果量的遞增，引起磁盤隨機讀寫次數(shù)增加導(dǎo)致性能非線性下降，未來將中間結(jié)果按Partition聚合和批處理等方案也在討論當(dāng)中。

【HBase：1.0時代】

HBase開始進入1.0時代，系統(tǒng)在穩(wěn)定性、可用性、易用性方面有質(zhì)的提升，主要體現(xiàn)的特性如下。

1. HydraBase

提供高可靠性：Region的副本只有一個是關(guān)鍵Region支持寫入，其余的都是在線副本;設(shè)定一個延遲，這個延遲以內(nèi)關(guān)鍵Region沒有應(yīng)答，就把請求發(fā)給其他在線副本，保證一致性和可靠性。

2. Replication Protocol

一組副本之間將只有一個leader，系統(tǒng)將使用RAFT協(xié)議來完成leader的選舉，leader響應(yīng)client所有讀取和寫入的請求，每個副本都會有自己的wal并存儲在本地，寫操作將由leader同步復(fù)制到其他副本。

3. RMAP

RMAP包含每個Region的quorum配置信息。

基于到client的網(wǎng)絡(luò)延遲，每個數(shù)據(jù)中心都將有一個Rank，RT最低的數(shù)據(jù)中心將具有最高等級的Rank，數(shù)據(jù)中心Rank排名較高、有quorum member資格的將能夠接管領(lǐng)導(dǎo)權(quán)，較高等級(數(shù)據(jù)中心Rank加機器Rank)的副本將最優(yōu)可能成為leader。

具體架構(gòu)如圖1所示。

　　【Hive：性能優(yōu)化】

Hive社區(qū)在SQL性能優(yōu)化方面做了大量工作，在2014年取得了許多的突破和進展。

1. ORCFile存儲格式完善

豐富了ORCFile的統(tǒng)計信息(提供stripe level的列統(tǒng)計信息)以及外圍的接口，讓元數(shù)據(jù)庫中存儲的統(tǒng)計信息和ORCFile中的統(tǒng)計信息可以配合使用，進一步降低數(shù)據(jù)讀取的代價。

2. Hive On Tez

Tez是一個基于Yarn的DAG計算引擎，相比于MapReduce，Tez可以更加靈活地描述計算過程，減少中間結(jié)果落地的次數(shù)，大大提高了計算效率。Hive On Tez使得那些需要多步MapReduce計算的復(fù)雜SQL執(zhí)行效率明顯提升。

3. 向量執(zhí)行

向量查詢執(zhí)行是Hive的一大特性，可以顯著降低一些典型查詢操作的CPU使用率，如掃描、過濾、聚合和連接。傳統(tǒng)Hive的查詢執(zhí)行是按行進行處理，這樣效率很低，向量查詢計劃是批量處理數(shù)據(jù)，一次處理上千行數(shù)據(jù)，每列表示成一個向量，內(nèi)部循環(huán)掃描這些列向量，沒有方法調(diào)用、反序列化、條件語句等額外開銷，提高了CPU指令流水線的利用率，從而大大減少CPU的使用。使用此種方式，數(shù)據(jù)存儲必須是ORC格式的。目前支持此種方式的數(shù)據(jù)類型有：tinyint、 smallint、int、bigint、boolean、float、double、decimal、date、timestamp、string。支持此種方式的表達式有：算術(shù)表達式、邏輯表達式、比較表達式、數(shù)學(xué)函數(shù)、字符串函數(shù)、用戶自定義函數(shù)、類型轉(zhuǎn)換、日期函數(shù)和if表達式。

Hive從0.13版本加入此特性。

4. 基于代價的優(yōu)化器

Hive 基于代價的優(yōu)化器使用了開源軟件Optiq來獲取更優(yōu)的執(zhí)行計劃。Optiq擁有超過50種優(yōu)化手段，通過它以及數(shù)據(jù)統(tǒng)計信息，Hive可以方便地實現(xiàn) Join最優(yōu)算法、Join最優(yōu)順序選擇等。同時它也提升了Hive的易用性，它的存在使得無需用戶過多參與就能得到比較優(yōu)化的執(zhí)行計劃，從而提升SQL 執(zhí)行效率。

5. SQL 完整性

除了性能的優(yōu)化工作之外，Hive社區(qū)也在持續(xù)建設(shè)SQL的完整性：例如在 where子句中使用子查詢功能(IN/NOT IN、EXIST/NOT EXIST);引入了類似Oracle/PostgreSQL的CTES語法和功能，進一步加強SQL的表達能力;加入char數(shù)據(jù)類型，完善 Decimal數(shù)據(jù)類型。

未來社區(qū)發(fā)展

社區(qū)計劃以完善當(dāng)前版本為主要目標(biāo)，但值得注意的是Hive On Spark工作，Spark目前發(fā)展迅速，大有與MapReduce分庭抗禮之勢。目前Hive On Spark已經(jīng)完成基本功能開發(fā)并進行了大量的bugfix，估計在2015年會正式發(fā)布，值得期待。

【Tez：孵化成功】

Tez 是什么?Tez這樣一個新興的技術(shù)對大家來說比較陌生，但Tez確是Hadoop家族最有想象力的一個突破。Tez產(chǎn)生的主要原因是繞開 MapReduce所施加的限制。除了必須要編寫Mapper和Reducer的限制之外，強制讓所有類型的計算都滿足這一范例——例如使用HDFS存儲多個MR作業(yè)之間的臨時數(shù)據(jù)，這是一個負載。Tez主要應(yīng)用了DAG計算模型，它可以將多個有依賴的作業(yè)轉(zhuǎn)換為一個作業(yè)從而大幅提升DAG作業(yè)的性能。 2014年Tez成功從Apache項目孵化器中脫離出來成為Apache的頂級項目之一，這預(yù)示著Tez開始走向成熟化和產(chǎn)品化。

目前Tez擁有如下幾點主要特性。

1. 比原生Hadoop MapReduce更好的性能。使用Tez的調(diào)度框架可以減少其中不必要的處理階段，如MRMR我們可以簡化為MRR，參考架構(gòu)示意如圖2所示。

　　2. 具有表現(xiàn)力的數(shù)據(jù)流API。

3. 靈活：可以通過連接不同的輸入、處理器和輸出，動態(tài)地構(gòu)建運行時執(zhí)行器。

4. 數(shù)據(jù)類型無關(guān)性：僅關(guān)心數(shù)據(jù)的移動，不關(guān)心數(shù)據(jù)格式。

5. 對MapReduce的無縫兼容，Tez能夠運行任意MR任務(wù)，不需要做任何改動。

未來社區(qū)計劃。

2014中Tez主要發(fā)布了0.5.x系列版本，但大多以bugfix為主題，因此從這點來看2015未來社區(qū)也仍舊以穩(wěn)定成熟為目標(biāo)。

總結(jié)

Hadoop 社區(qū)雖然繁榮，但無法完全覆蓋各種應(yīng)用場景，即使可用也未必是最優(yōu)方案，尤其在一些頂級企業(yè)中，面臨的數(shù)據(jù)量都是海量的。不得不提，面對無法覆蓋的需求，有實力的企業(yè)會自主研發(fā)各種差異化的系統(tǒng)。如百度自己研發(fā)了類似Yarn一樣的調(diào)度系統(tǒng)，阿里自主研發(fā)了類似Hadoop的飛天系統(tǒng)，騰訊針對大數(shù)據(jù)的快速多維檢索也有Hermes這類產(chǎn)品。

不得不說開源成為了社會進步的主要元素。BAT在開源這塊最近幾年貢獻頗多，成為國內(nèi)開源技術(shù)的引領(lǐng)者，這是一種進步，是一種希望，也是針尖對麥芒商業(yè)戰(zhàn)背后的一種合作。由衷地希望這些企業(yè)能保持這種合作，讓技術(shù)最大化地成長，讓生態(tài)圈更完善。

作者：騰訊大數(shù)據(jù)團隊，專注于騰訊大數(shù)據(jù)平臺建設(shè)和數(shù)據(jù)產(chǎn)品的研發(fā)，規(guī)劃和研發(fā)接入平臺軟件(如海量數(shù)據(jù)消息中間件)及廣告推薦平臺，積極推動新一代高性能計算框架的研究和落地，同時在深度學(xué)習(xí)領(lǐng)域有一定研究。