海綿數(shù)據(jù)的大數(shù)據(jù)操作系統(tǒng)Sponge為用戶提供了一個簡單易用的高性能大數(shù)據(jù)平臺，同一個平臺可以滿足用戶不同層面的需求。Sponge是一個劃時代的產(chǎn)品，代表了大數(shù)據(jù)未來的發(fā)展方向。

5月20日，海綿數(shù)據(jù)科技有限公司(以下簡稱海綿數(shù)據(jù))在北京發(fā)布第二代大數(shù)據(jù)操作系統(tǒng)Sponge。海綿數(shù)據(jù)CEO朱曉明稱Sponge是全球首款基于內(nèi)存計算技術的大數(shù)據(jù)底層操作系統(tǒng)：“我們希望利用公司技術團隊在IT領域二三十年的技術積累，在大數(shù)據(jù)底層技術上實現(xiàn)突破，同時拋磚引玉，吸引更多合作伙伴共同投資于大數(shù)據(jù)基礎技術的研發(fā)，推動大數(shù)據(jù)應用快速落地。”

加速大數(shù)據(jù)落地

當前，大數(shù)據(jù)已經(jīng)從概念炒作的階段過渡到應用落地的階段。用戶迫切需要高效、簡單、易用、成本優(yōu)化的大數(shù)據(jù)平臺和工具。但是，目前用戶正在使用的第一代大數(shù)據(jù)操作系統(tǒng)比較復雜，在數(shù)據(jù)同步和一致性、數(shù)據(jù)安全、數(shù)據(jù)處理性能等方面存在不足。為此，海綿數(shù)據(jù)才潛心研發(fā)新一代大數(shù)據(jù)底層操作系統(tǒng)Sponge。有人說，Sponge的矛頭直指Hadoop。“從市場角度講，Sponge不會刻意與Hadoop競爭。有人擔心能否將應用從原來的Hadoop平臺平滑遷移到Sponge平臺上。其實，在Sponge推出后，已經(jīng)有用戶這樣做了。”朱曉明說。

Sponge在性能、部署和使用的簡便性等方面明顯優(yōu)于第一代大數(shù)據(jù)操作系統(tǒng)。實際測試和使用過Sponge的用戶都有這樣的感覺。舉例來說，第一代大數(shù)據(jù)操作系統(tǒng)在不出現(xiàn)任何問題的情況下，至少也要半天才能完成部署，而Sponge從下載到安裝最多也就十幾分鐘，大大改善了用戶體驗。“我們的目標不是與誰競爭，而是希望盡快在中國建立大數(shù)據(jù)應用和推廣的生態(tài)鏈。”朱曉明表示。

第二代大數(shù)據(jù)操作系統(tǒng)與第一代產(chǎn)品之間的區(qū)別在哪里?“兩代產(chǎn)品在技術架構(gòu)和設計理念上完全不同。”海綿數(shù)據(jù)CTO李東介紹說，“第一代大數(shù)據(jù)操作系統(tǒng)15年前就誕生了，其技術架構(gòu)是在滿足當時用戶的需求和技術條件下設計的。隨著時間推移，用戶需求改變了，技術也在不斷發(fā)展，從底層架構(gòu)到上層應用，大數(shù)據(jù)都發(fā)生了巨大改變。”

舉例來說，第一代大數(shù)據(jù)操作系統(tǒng)的工作方式是先進行大量文件的抓取，然后進行存儲，再對這些文件進行處理和分析。隨著社交網(wǎng)絡的發(fā)展，大量智能設備不斷涌現(xiàn)，傳統(tǒng)的文件批處理方式已經(jīng)轉(zhuǎn)變?yōu)楝F(xiàn)在的交互式處理、實時處理。用戶端也要求數(shù)據(jù)處理的手段更加多樣化。“正是看到了技術的變化和當前用戶的需求，我們決定重新開發(fā)一套大數(shù)據(jù)底層操作系統(tǒng)，用一個統(tǒng)一的平臺滿足用戶不同的數(shù)據(jù)處理需求。”李東表示。

注重用戶體驗

評判一個軟件產(chǎn)品優(yōu)劣的標準是什么?強大的性能，還是豐富的功能?是用戶的體驗。李東表示，第一代大數(shù)據(jù)產(chǎn)品技術架構(gòu)比較復雜，應用比較困難，性能調(diào)優(yōu)更是難上加難。海綿數(shù)據(jù)在開發(fā)第二代大數(shù)據(jù)操作系統(tǒng)Sponge技術框架時，特別注意了架構(gòu)的簡化與整合。用李東的話說，Sponge技術框架短小精悍，功能齊全。

Sponge在以下幾方面實現(xiàn)了突破和創(chuàng)新。在存儲層，Sponge整合了高性能的存儲，可同時處理結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)，并結(jié)合了云對象存儲和軟件定義存儲，采用統(tǒng)一的核心，擴展性非常好。在分析計算層，Sponge與Apache Spark緊密集成。Sponge提供的分布式NFS與POSIX完全兼容，可以更容易集成現(xiàn)有的系統(tǒng)、應用和腳本。Sponge擁有支持Hadoop文件系統(tǒng)的接口，可以很容易地與Hadoop生態(tài)系統(tǒng)兼容。由于底層的存儲架構(gòu)支持細粒度的數(shù)據(jù)塊，Sponge還實現(xiàn)了CDR(持續(xù)數(shù)據(jù)復制)功能，其集群的拓撲結(jié)構(gòu)采用Masterless，消除了單點故障和文件數(shù)目的限制。

讓大數(shù)據(jù)應用變簡單是Sponge的最終目標。Sponge在設計之初就秉承讓大數(shù)據(jù)平臺簡單實用，同時又不失豐富功能的原則，各功能模塊基于同一個核心，實現(xiàn)了高度整合，開發(fā)和使用都基于同一個平臺界面。Sponge之所以與Apache Spark集成，也是希望將用戶的使用、維護和開發(fā)融為一體，提供一個簡單高效的平臺。

從產(chǎn)品開發(fā)難易程度來看，基于Hadoop平臺開發(fā)一個大數(shù)據(jù)工具肯定比自主開發(fā)一個大數(shù)據(jù)底層操作系統(tǒng)要容易得多，但海綿數(shù)據(jù)并沒有“取巧”，而是選擇了一條比較艱辛的道路。為什么呢?一是海綿數(shù)據(jù)看到了大數(shù)據(jù)應用推廣難的癥結(jié)所在，就是因為沒有一個簡單易用的大數(shù)據(jù)操作系統(tǒng);二是IT領域許多底層或核心的系統(tǒng)都是國外廠商開發(fā)的，作為中國廠商，海綿數(shù)據(jù)愿意做這個“吃螃蟹”的人;三是，海綿數(shù)據(jù)在國內(nèi)外擁有強大的技術研發(fā)能力。“很多人可能認為，開發(fā)底層操作系統(tǒng)是一件枯燥乏味的事。但對于大數(shù)據(jù)應用來說，底層操作系統(tǒng)是不可或缺的。我們希望從這個層面實現(xiàn)全新的突破。”海綿數(shù)據(jù)COO劉棟表示。

Sponge是一個底層操作系統(tǒng)平臺，包括豐富的技術和功能，比如文件系統(tǒng)、分布式NFC技術、數(shù)據(jù)分析引擎、數(shù)據(jù)實時同步技術、軟件定義存儲、SWIFT云集成等。這些技術和功能合在一起構(gòu)成了一個高性能、簡單、易用的大數(shù)據(jù)平臺，分開也可以成為獨立的產(chǎn)品，比如現(xiàn)在十分流行的軟件存儲等。“有些功能模塊確實可以變成獨立的商品化軟件。”劉棟舉例說，“有的用戶只關注存儲，那么就可以直接采用Sponge軟件定義存儲產(chǎn)品。我們的銷售策略十分靈活，既可以提供打包的整體解決方案，也可以單獨提供其中的某個功能模塊。”

　　不開源 但開放

Hadoop之所以在大數(shù)據(jù)領域擁有極高知名度，主要是因為Hadoop是開源的，而且已經(jīng)建立了一個龐大的生態(tài)系統(tǒng)。海綿數(shù)據(jù)在推廣其大數(shù)據(jù)操作系統(tǒng)時，是效仿Hadoop的成功模式，還是另辟蹊徑呢?

海綿數(shù)據(jù)已經(jīng)在產(chǎn)品落地、技術推廣、生態(tài)鏈構(gòu)建等幾個方面開始了積極嘗試。第一，海綿數(shù)據(jù)希望培養(yǎng)更多的大數(shù)據(jù)專業(yè)人才，為此將與國內(nèi)眾多高校合作，并為高校免費提供大數(shù)據(jù)產(chǎn)品。第二，海綿數(shù)據(jù)還會與高校合作建立一些產(chǎn)業(yè)園基地，最快今年6月就會有集產(chǎn)學研用于一體的基地投入建設。第三，在杭州當?shù)卣闹С窒拢＞d數(shù)據(jù)正籌劃建立一個推動大數(shù)據(jù)應用實踐的產(chǎn)業(yè)聯(lián)盟實體，如果這一模式能夠成功，還計劃在北京、上海等地復制和推廣。“目前，中國的大數(shù)據(jù)市場規(guī)模還不夠大，主要原因是炒作概念的人多，而真正落地的項目少。從技術角度講，缺少大數(shù)據(jù)底層的操作系統(tǒng)也是一個掣肘。”朱曉明強調(diào)說，“我們只做大數(shù)據(jù)底層操作系統(tǒng)，包括核心的文件系統(tǒng)、存儲等，而不會涉及上層應用開發(fā)。我們的產(chǎn)品策略是不開源，但開放。我們會開放API接口給合作伙伴，由它們結(jié)合不同行業(yè)的應用需求進行二次開發(fā)，這樣也避免了與生態(tài)鏈上的其他廠商競爭。”

海綿數(shù)據(jù)的核心技術團隊在美國硅谷，其技術專家很多曾參與過第一代大數(shù)據(jù)操作系統(tǒng)的開發(fā)，不僅具有很強的開發(fā)能力，而且可以密切跟蹤國際最新的技術發(fā)展潮流。目前，海綿數(shù)據(jù)申請的自主知識產(chǎn)權已有20項左右。

“我們應該感謝第一代大數(shù)據(jù)操作系統(tǒng)的開發(fā)者和使用者。因為站在他們的肩膀上，我們才能用更短的時間開拓并建立大數(shù)據(jù)操作系統(tǒng)2.0生態(tài)圈。”劉棟表示，“我們在努力開拓大數(shù)據(jù)操作系統(tǒng)2.0的新市場的同時，對于第一代大數(shù)據(jù)操作系統(tǒng)的客戶也志在必得。一方面，我們會用更先進的產(chǎn)品解決用戶遇到的技術難題;另一方面，我們的大數(shù)據(jù)操作系統(tǒng)2.0全面兼容第一代大數(shù)據(jù)操作系統(tǒng)，方便用戶從原有系統(tǒng)平穩(wěn)遷移到新的平臺上。”

海綿數(shù)據(jù)的中長期戰(zhàn)略目標是，爭取在五年內(nèi)成為全球最大的大數(shù)據(jù)廠商，占據(jù)全球市場50%的份額。海綿數(shù)據(jù)哪來的這種霸氣和自信呢?朱曉明表示：“我們研究發(fā)現(xiàn)，大數(shù)據(jù)2.0時代潛在的市場規(guī)模比1.0時代大得多，至少是5倍左右。如果我們能按預期的年均50%的速度增長，5年后我們應該能夠與Hadoop平起平坐。”