《企業(yè)網(wǎng)D1Net》1月5日訊

大數(shù)據(jù)時(shí)代，人們?cè)絹?lái)越清楚地意識(shí)到數(shù)據(jù)中蘊(yùn)藏的價(jià)值。海量數(shù)據(jù)的擁有者——運(yùn)營(yíng)商，銀行，物流公司等等——都在積極地尋求方法利用手中的數(shù)據(jù)。然而，爆發(fā)式增長(zhǎng)的數(shù)據(jù)量正在超出傳統(tǒng)數(shù)據(jù)庫(kù)的處理能力。為了應(yīng)對(duì)這樣的增長(zhǎng)，企業(yè)需要對(duì)數(shù)據(jù)庫(kù)進(jìn)行升級(jí)?；谛⌒蜋C(jī)DB2或Oracle架構(gòu)的傳統(tǒng)數(shù)據(jù)庫(kù)升級(jí)依靠縱向擴(kuò)展，也就是通過(guò)提升服務(wù)器本身的性能來(lái)提高處理能力。更大更強(qiáng)的服務(wù)器價(jià)格高昂，但性能的提升卻是有限的。企業(yè)為自己的傳統(tǒng)數(shù)據(jù)庫(kù)做縱向擴(kuò)展只會(huì)錢越花越多，收效越來(lái)越少。

Hadoop架構(gòu)很好地解決了擴(kuò)展的瓶頸，它設(shè)計(jì)部署在經(jīng)濟(jì)實(shí)惠的硬件上，通過(guò)橫向擴(kuò)展，便可無(wú)限地提升數(shù)據(jù)處理能力?；贖adoop的大數(shù)據(jù)軟件因?yàn)槠鋸?qiáng)大的處理能力和高性價(jià)比在數(shù)據(jù)分析市場(chǎng)嶄露頭角。星環(huán)信息科技(上海)有限公司(以下簡(jiǎn)稱星環(huán)科技)的企業(yè)級(jí)一站式大數(shù)據(jù)綜合平臺(tái)Transwarp Data Hub (以下簡(jiǎn)稱TDH)是Hadoop發(fā)行版中的佼佼者。它在國(guó)內(nèi)擁有最多的上線案例，已經(jīng)為眾多企業(yè)解決了棘手的大數(shù)據(jù)難題。TDH下的分布式內(nèi)存分析引擎Transwarp Inceptor將數(shù)據(jù)和計(jì)算中間結(jié)果放在內(nèi)存中，依靠?jī)?nèi)存的高速讀寫，克服了大數(shù)據(jù)處理中常見的I/O瓶頸，加上它對(duì)SQL和R的全面支持，可以輕松地應(yīng)對(duì)海量數(shù)據(jù)的復(fù)雜計(jì)算，極大地提高了數(shù)據(jù)處理的效率，解放了企業(yè)的生產(chǎn)力。然而，星環(huán)科技的開發(fā)人員并不滿足于此。

一方面，Transwarp Inceptor運(yùn)行在JVM上，使用大內(nèi)存的時(shí)候，對(duì)GC的影響非常嚴(yán)重，用戶體驗(yàn)不夠平滑;另一方面，完全使用內(nèi)存作為存儲(chǔ)介質(zhì)價(jià)格較高。星環(huán)科技的開發(fā)人員發(fā)現(xiàn)，隨著硬件技術(shù)的發(fā)展，SSD的讀寫速度已經(jīng)遠(yuǎn)遠(yuǎn)甩開機(jī)械硬盤，向內(nèi)存靠攏，但在價(jià)格上，SSD相對(duì)昂貴的內(nèi)存有巨大的優(yōu)勢(shì)，這讓SSD成為了內(nèi)存強(qiáng)有力的競(jìng)爭(zhēng)者。“我們相信，大數(shù)據(jù)分析應(yīng)該朝著更經(jīng)濟(jì)更普及的方向發(fā)展，”星環(huán)科技的CTO孫元浩說(shuō)道，“我們的產(chǎn)品為企業(yè)提高生產(chǎn)力，而將內(nèi)存替換為SSD可以在不影響性能的情況下提升用戶體驗(yàn)并且降低成本。”

在為某省級(jí)移動(dòng)通信運(yùn)營(yíng)商部署大數(shù)據(jù)解決方案時(shí)，星環(huán)科技第一次將SSD作為內(nèi)存的替代應(yīng)用在了生產(chǎn)中。在比較市場(chǎng)上各品牌型號(hào)的固態(tài)盤的信息之后，星環(huán)科技最終選擇了具備高穩(wěn)定性技術(shù)的英特爾® 固態(tài)盤DC S3500系列來(lái)構(gòu)建新的解決方案。對(duì)于固態(tài)盤而言，影響讀寫能力的最大因素在于固態(tài)盤的控制芯片和固件算法。英特爾在芯片技術(shù)和固件算法上的優(yōu)勢(shì)讓英特爾® 固態(tài)盤DC S3500系列在處理讀寫任務(wù)時(shí)擁有得天獨(dú)厚的優(yōu)勢(shì)。英特爾® 固態(tài)盤DC S3500系列具有50微秒的順序讀取延遲，在 99.9% 的時(shí)間內(nèi) 500 微秒的最大讀取延遲，以及4KB 隨機(jī)讀取性能高達(dá)75,000的每秒輸入輸出操作次數(shù)(IOPS)。同時(shí)具備較低的有功讀取 功率(小于 1.3 瓦)。這些特點(diǎn)保證了英特爾® 固態(tài)盤數(shù)據(jù)存儲(chǔ)和讀取的出色能力以及在頻繁操作情況下的性能穩(wěn)定性。作為一款優(yōu)秀的企業(yè)級(jí)固態(tài)盤，除了高性能優(yōu)勢(shì)之外，英特爾® 固態(tài)盤DC S3500系列還具備防止數(shù)據(jù)丟失和損壞的特性。英特爾® 固態(tài)盤DC S3500系列提供能夠端到端數(shù)據(jù)安全性保護(hù)，使數(shù)據(jù)從進(jìn)入硬盤到離開硬盤時(shí)刻處于保護(hù)之中。此外，英特爾還將固態(tài)盤將NAND、SRAM和DRAM內(nèi)存的高級(jí)錯(cuò)誤糾正方案結(jié)合起來(lái)，通過(guò)奇偶校驗(yàn)、循環(huán)冗余檢查(CRC)，以及邏輯塊地址(LBA)標(biāo)記驗(yàn)證來(lái)保護(hù)傳輸中的數(shù)據(jù)。它還使用高級(jí)加密標(biāo)準(zhǔn)(AES)和增強(qiáng)的電源損耗保護(hù)進(jìn)一步增強(qiáng)數(shù)據(jù)的安全性。英特爾® 固態(tài)盤DC S3500系列產(chǎn)品穩(wěn)定的高性能使星環(huán)科技的解決方案得到了有效的保障。而英特爾® 固態(tài)盤技術(shù)人員專業(yè)而嚴(yán)謹(jǐn)?shù)那捌诋a(chǎn)品測(cè)試、積極響應(yīng)的售后服務(wù)方案和強(qiáng)大的渠道供貨能力，更是為項(xiàng)目提供了強(qiáng)有力的后盾。

與傳統(tǒng)方案相比，星環(huán)科技的解決方案有如下幾點(diǎn)優(yōu)勢(shì)：

該省級(jí)移動(dòng)運(yùn)營(yíng)商單月清單數(shù)量在1000億條左右，每月數(shù)據(jù)量達(dá)100TB，完全超出了原有數(shù)據(jù)庫(kù)架構(gòu)的處理能力，無(wú)法為用戶提供優(yōu)質(zhì)服務(wù)。星環(huán)科技的解決方案使用了800G英特爾® 固態(tài)盤DC S3500替換了256G的內(nèi)存。測(cè)試環(huán)境下，在單張表統(tǒng)計(jì)操作中，傳統(tǒng)方案需耗時(shí)230秒，Transwarp Inceptor僅耗時(shí)3秒，查詢速度是原有方案的76倍。而在多張數(shù)據(jù)表關(guān)聯(lián)操作中，傳統(tǒng)方案需耗時(shí)414秒，Transwarp Inceptor耗時(shí)僅為26秒，原有方案的效率僅是新方案的6%?？梢?，在處理大數(shù)據(jù)量、復(fù)雜賬單等情況的環(huán)境下，新解決方案完勝傳統(tǒng)方案，能夠應(yīng)對(duì)移動(dòng)通信行業(yè)爆發(fā)式的大數(shù)據(jù)需求，支持?jǐn)?shù)百萬(wàn)用戶同時(shí)在線查詢，極大地提高用戶體驗(yàn)。跟完全使用內(nèi)存的Transwarp Inceptor相比，這套解決方案的性能也不遑多讓，英特爾® 固態(tài)盤 DC S3500表現(xiàn)出了與內(nèi)存極其接近的反應(yīng)速度：

從成本上來(lái)看，256G內(nèi)存成本在2萬(wàn)元左右，而5000元左右便能買到800G的DC S3500，絕對(duì)成本大約下降了75%;從價(jià)格容量比來(lái)看，內(nèi)存所需成本約為78元/GB，而DC S3500 800G僅為6.25元/GB，單位容量成本大約下降了92%，大大降低方案成本。這個(gè)項(xiàng)目中，SSD顯示了其極大的優(yōu)越性——在極少影響性能的情形下，SSD可以為企業(yè)節(jié)省開支。

“我們已經(jīng)習(xí)慣了用SSD來(lái)替代傳統(tǒng)硬盤?，F(xiàn)在我們欣喜地看到SSD的技術(shù)已經(jīng)發(fā)展到可以在某些場(chǎng)景取代內(nèi)存。”英特爾非易失性存儲(chǔ)解決方案事業(yè)部中國(guó)區(qū)市場(chǎng)總監(jiān)劉鋼說(shuō)道，“大數(shù)據(jù)是現(xiàn)在最熱門的應(yīng)用之一，大數(shù)據(jù)分析處理所需要的持續(xù)、多路并發(fā)、快速讀寫對(duì)計(jì)算平臺(tái)帶來(lái)了極大的挑戰(zhàn)，基于傳統(tǒng)硬盤的存儲(chǔ)方案已成為瓶頸。英特爾® 固態(tài)盤具備快速穩(wěn)定的并發(fā)讀寫能力、出色的可靠性以及數(shù)據(jù)保護(hù)功能，尤其是最新發(fā)布的基于NVMe的PCIe SSD是大數(shù)據(jù)分析處理的完美搭配。我們很高興能夠和星環(huán)科技合作，提供一流的大數(shù)據(jù)解決方案。希望在未來(lái)，使用SSD作為緩存的大數(shù)據(jù)解決方案會(huì)成為行業(yè)標(biāo)準(zhǔn)。”隨著SSD技術(shù)的成熟，其性價(jià)比優(yōu)勢(shì)將繼續(xù)增強(qiáng)。未來(lái)，星環(huán)科技還將繼續(xù)與英特爾緊密合作，借助性能出色的企業(yè)級(jí)固態(tài)盤來(lái)有效增強(qiáng)解決方案，為用戶提供更優(yōu)質(zhì)、更可靠的服務(wù)。請(qǐng)拭目以待。