2011年3月11日日本大地震發(fā)生后，美國國家海洋和大氣管理局(NOAA)，通過分析海量的數(shù)據(jù)，包括陸基、 海岸、 海洋、 海洋生物資源和大氣層等的信息數(shù)據(jù)，僅9分鐘后，就發(fā)布了詳細(xì)的海嘯預(yù)警;NOAA每年的IT預(yù)算高達(dá)10億美元，雖然花費巨大，但樂此不疲，因為這些信息關(guān)乎生命，這些數(shù)據(jù)可以拯救生命，改變世界。在這個信息爆炸的時代，面對海量信息，你準(zhǔn)備好了嗎？

大數(shù)據(jù)時代到來

近年來互聯(lián)網(wǎng)、云計算、移動終端和物聯(lián)網(wǎng)迅猛發(fā)展。日漸復(fù)雜的企業(yè)客戶信息數(shù)據(jù)，網(wǎng)店交易記錄，視頻監(jiān)控終端產(chǎn)生的信息數(shù)據(jù)，博客、微博、照片、自創(chuàng)視頻等，數(shù)據(jù)每秒都在爆炸產(chǎn)生……;全球在2010 年正式進(jìn)入ZB 時代，根據(jù)IDC 的預(yù)計，到2020 年全球?qū)⒖偣矒碛?5ZB 的數(shù)據(jù)量，相較于2009 年，數(shù)據(jù)量將增長44倍。2012年3月，奧巴馬政府公布大數(shù)據(jù)計劃，首批宣布投資2億美元。工信部發(fā)布的物聯(lián)網(wǎng)“十二五”規(guī)劃，把信息處理技術(shù)作為4項關(guān)鍵技術(shù)創(chuàng)新工程之一被提出來——毋庸置疑，我們已進(jìn)入“大數(shù)據(jù)時代”，大數(shù)據(jù)正在改變商業(yè)，生活甚至政府。

應(yīng)需而變

曾經(jīng)是攝影代名詞的柯達(dá)在自己132歲時轟然倒下;同時，1962創(chuàng)建的零售之王沃爾瑪，連續(xù)多年蟬聯(lián)零售商第一;擁有350名員工的FaceBook僅僅只用了8年時間，上市首日市值達(dá)1152億美元，成為歷史上規(guī)模最大一宗科技公司IPO。變化帶來的不僅僅是挑戰(zhàn)，更是機(jī)遇，甚至是彎道超車的機(jī)會。

挑戰(zhàn)與機(jī)遇面前人人平等，那么生存，發(fā)展，超越的銀彈是什么呢？銀彈就是大數(shù)據(jù)，就是大數(shù)據(jù)中的大價值。沃爾瑪是最早通過利用大數(shù)據(jù)而受益的企業(yè)之一，通過對消費者的購物行為等非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析，沃爾瑪成為最了解顧客購物習(xí)慣的零售商，并創(chuàng)造了“啤酒與尿布”的經(jīng)典商業(yè)案例。沃爾瑪一度擁有世界上最大的數(shù)據(jù)倉庫系統(tǒng)，數(shù)據(jù)中心的數(shù)據(jù)量已經(jīng)是美國國會圖書館的167倍。Facebook每秒鐘都在生成海量的結(jié)構(gòu)和非結(jié)構(gòu)化數(shù)據(jù)，一對一的消費驅(qū)動模式中蘊含著用戶的消費傾向，“數(shù)據(jù)”的挖掘分析大幅提升廣告的精確投放效果，并且可以通過用戶行為預(yù)測多個行業(yè)的發(fā)展趨勢，蘊含巨大的商業(yè)價值。Facebook 1152億美元的IPO很大程度是對大數(shù)據(jù)中大價值的認(rèn)同。大數(shù)據(jù)時代，管理大數(shù)據(jù)，挖掘大數(shù)據(jù)中的大價值，就抓住了機(jī)遇，也就能立于不敗之地。

挑戰(zhàn)與機(jī)遇并存

大數(shù)據(jù)有著4“V”特性：Volume、Variety、Velocity、Value。要把握大數(shù)據(jù)，挖據(jù)出大數(shù)據(jù)中的價值，從技術(shù)的角度來說，兩個問題需要解決：數(shù)據(jù)的存儲，數(shù)據(jù)的分析。大數(shù)據(jù)的Volume 屬性——“海量數(shù)據(jù)”一詞從七十年代延展至今，正在發(fā)生從量變到質(zhì)變的飛躍。所謂質(zhì)變是說，從來沒有一個時期要如此依賴數(shù)據(jù)，同時，傳統(tǒng)的數(shù)據(jù)處理和數(shù)據(jù)管理技術(shù)正在受到當(dāng)今“海量數(shù)據(jù)”的直接挑戰(zhàn)。

(一) ZB級的數(shù)據(jù)管理和數(shù)據(jù)分析，不是傳統(tǒng)的IT服務(wù)器、磁帶、縱向擴(kuò)展設(shè)備能夠承載的，數(shù)量級和復(fù)雜程度到達(dá)一個層級，引導(dǎo)企業(yè)進(jìn)行信息化技術(shù)和企業(yè)業(yè)務(wù)的革新。傳統(tǒng)利用SPSS統(tǒng)計分析軟件建模的方式已經(jīng)有些力不從心，而如果采用抽樣統(tǒng)計分析的方式，有些新的用戶行為特征或業(yè)務(wù)趨勢就會被忽略。

(二) 世界經(jīng)濟(jì)形勢趨緊，高額的IT預(yù)算，究竟應(yīng)該在哪里投入。據(jù)調(diào)查企業(yè)目前73%的預(yù)算都用在基本業(yè)務(wù)運轉(zhuǎn)上，剩下的才對商業(yè)運營有支撐作用。CIO的苦痛在于IT設(shè)施不斷的膨脹，僅僅是因為業(yè)務(wù)的數(shù)量漲了，沒有給企業(yè)經(jīng)營帶來真正的增值。

(三) 據(jù)統(tǒng)計，ZB級的數(shù)據(jù)中，80%以上是半結(jié)構(gòu)化，非結(jié)構(gòu)化數(shù)據(jù)。為了應(yīng)對“大數(shù)據(jù)”浪潮，很多企業(yè)在具備一定結(jié)構(gòu)化處理能力的基礎(chǔ)上，將非結(jié)構(gòu)化數(shù)據(jù)依托給了Hadoop。但當(dāng)深入探索之后，有投資人給出了這樣的感受——使用Hadoop構(gòu)建分析性查詢，會變成類似用錘子來建造房屋的活動：特定的數(shù)據(jù)模式分析任務(wù)中性能低的可怕;高昂的后期開發(fā)和維護(hù)任務(wù)成本;企業(yè)信息孤島;數(shù)據(jù)單點故障。

那么是否說明了，“大數(shù)據(jù)”帶來企業(yè)業(yè)務(wù)革命性挑戰(zhàn)真是存在呢？答案是Yes。那么是否說明了，“大數(shù)據(jù)”需要革命性技術(shù)革新呢？答案是No。

融易致遠(yuǎn)

展開“大數(shù)據(jù)”的畫卷，我們能夠看到的是如下現(xiàn)狀：

a. 眾多企業(yè)都在為大數(shù)據(jù)時代的到來作出反應(yīng)，數(shù)據(jù)庫廠家提供的昂貴的結(jié)構(gòu)化數(shù)據(jù)解決方案無法適應(yīng)企業(yè)收緊IT預(yù)算，同時要進(jìn)行海量數(shù)據(jù)分析的要求;企業(yè)將目光轉(zhuǎn)向Hadoop開源系統(tǒng)，但處于進(jìn)退兩難的境地。

b. IT廠商也同時意識到了這個問題，紛紛將Hadoop集成進(jìn)入大數(shù)據(jù)解決方案，以此迎合Hadoop已經(jīng)在大數(shù)據(jù)領(lǐng)域占領(lǐng)的一席之地;

c. 上述的簡單嫁接，企業(yè)處于業(yè)務(wù)系統(tǒng)、歸檔系統(tǒng)、數(shù)據(jù)分析系統(tǒng)相互隔離導(dǎo)致的尷尬境地，同時面臨高額的TCO對IT預(yù)算的困擾;

應(yīng)對上述現(xiàn)狀，華為推出了X位一體的大數(shù)據(jù)存儲解決方案。方案中，海量結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)一體化存儲;統(tǒng)一的并行任務(wù)調(diào)度框架支撐結(jié)構(gòu)化、非結(jié)構(gòu)化海量數(shù)據(jù)清洗、數(shù)據(jù)分析;海量數(shù)據(jù)的生命周期管理，支持歷史數(shù)據(jù)的歸檔、壓縮、掉電策略;歷史數(shù)據(jù)仍納入海量數(shù)據(jù)的引擎管理;同時，通過海量非結(jié)構(gòu)化數(shù)據(jù)的內(nèi)容感知(元數(shù)據(jù)管理)，建立海量非結(jié)構(gòu)化數(shù)據(jù)的搜索引擎，加速熱點數(shù)據(jù)的快速訪問。華為大數(shù)據(jù)存儲解決方案通過融合的方案，多樣化數(shù)據(jù)統(tǒng)一存儲、分析、備份和歸檔，解決了信息孤島，也解決了隨著業(yè)務(wù)的發(fā)展，對量和性能不斷拔高的需求;同時，又能根據(jù)需求的變化對容量和性能進(jìn)行擴(kuò)容,保持低廉的TCO。

我們能看到順應(yīng)大數(shù)據(jù)潮流，從而獲得成功的Facebook、沃爾瑪?shù)?，我們也看到在大?shù)據(jù)潮流下企業(yè)積極尋求轉(zhuǎn)型，70%企業(yè)客戶正在近5年和未來5年投入進(jìn)行IT基礎(chǔ)設(shè)施的改革。大數(shù)據(jù)，正在改變世界;華為存儲應(yīng)需而變，貼合業(yè)務(wù)需要;融合之道，助力大數(shù)據(jù)時代把握住大數(shù)據(jù)，把握住大數(shù)據(jù)的大價值，把握住未來。