剛剛過去的2014年，見證了大數(shù)據(jù)架構發(fā)展和部署上的進步。NoSQL數(shù)據(jù)庫得到越來越多的用戶認可，Hadoop 2 也突破了分布式處理框架一開始批處理的角色，走向了運營分析。

Hadoop 2 平臺最早發(fā)布于2013年末，今年主要發(fā)布對Hadoop 2的各種修補，主要圍繞HDFS和YARN(詳見《2014年Hadoop大事件盤點報告》)新版本將HDFS從早期批處理的MapReduce編程模型和處理引擎中解放出來，為Hadoop打開了新的天地，比如交互查詢和流處理應用程序。但從概念證明(proof of concept，POC)到投入生產(chǎn)是一個質的變化，2015年將見證Hadoop更多的發(fā)展。

數(shù)據(jù)架構師和管理者今年花了很多精力研究主流關系型數(shù)據(jù)庫的內(nèi)存處理技術。同時，非關系型數(shù)據(jù)庫的討論也很多，紐約咨詢公司Caserta Concepts的創(chuàng)始人兼總裁Joe Caserta認為：“如果你覺得你可以不需要龐大的SQL數(shù)據(jù)庫就可以完成一些任務，那么新興技術就算是取得了勝利。”

除了格外吸睛的hadoop之外，另一個引人關注的開源產(chǎn)品是分析處理引擎Spark，Spark經(jīng)常和Hadoop 2搭載使用，在處理批任務時比MapReduce更快。Spark另一個關注點在于機器學習，這也是過去一年里大家常說的話題。

NoSQL &NewSQL

MongoDB, Couchbase, Aerospike等一長串的NoSQL數(shù)據(jù)庫在過去的一年里持續(xù)發(fā)聲，恐怕沒有哪一天是不說NoSQL的。在2014 MongoDB世界大會上，CitiData的全球總裁Michael Simone就諷刺了NOSQL數(shù)據(jù)庫的過度宣傳。不過這并不能阻擋NoSQL的發(fā)展勢頭，因為它確實擅長處理大規(guī)模數(shù)據(jù)集，尤其是網(wǎng)絡上多種格式的非結構化數(shù)據(jù)。

舉例來說，NoSQL數(shù)據(jù)庫經(jīng)常被貼上內(nèi)存標簽，支持實時決策，還可以幫助呼叫中心人員跟蹤用戶網(wǎng)絡行為，解決技術難題，以及存儲并分析社交媒體信息。

在回顧NoSQL數(shù)據(jù)庫的時候，我們不要忘了NewSQL技術，它致力于兼取SQL和NoSQL平臺之長。

數(shù)據(jù)架構是大數(shù)據(jù)的核心命題

這些技術的發(fā)展都離不開一個核心命題，即融入到企業(yè)數(shù)據(jù)架構。Accenture分析咨詢集團負責數(shù)據(jù)供應鏈的信息管理總監(jiān)Vince Dell’Anno表示：“大數(shù)據(jù)今天面臨的主要問題是架構問題，即企業(yè)如何把這些新的技術集成到一個環(huán)境中。”

Dell’Anno表示，很多IT部門面臨的挑戰(zhàn)是他們要允許成百上千的終端用戶訪問新產(chǎn)生的數(shù)據(jù)，如何管理成了問題。事實上，構建可擴展的大數(shù)據(jù)系統(tǒng)、將其余現(xiàn)有數(shù)據(jù)倉庫、分析和運營環(huán)境集成是2014年技術發(fā)展的主題。很多時候，為了應用新工具，大數(shù)據(jù)架構師不得不放棄熟悉的數(shù)據(jù)模式，遵循新的數(shù)據(jù)管理方法。

就在2014年行將結束的時候，hadoop發(fā)行版供應商Hortonworks申請IPO上市，這個過程中，它籌資一億美元，Ovum分析師Tony Baer在博客中寫道，此舉對于商業(yè)前景的意義更大，這是一個新興的市場，幾乎所有的銷售的新產(chǎn)生的，競爭對手也相對較少。并且，這一領域還是有很多有待開墾的市場的。

其他Hadoop廠商和一些NoSQL廠商，也希望在2015年加入IPO大軍，這將有利于新的數(shù)據(jù)處理技術走向成熟和完整。