有鑒于云計(jì)算大數(shù)據(jù)分析對(duì)網(wǎng)絡(luò)、存儲(chǔ)以及服務(wù)器的嚴(yán)格要求，我們毫不奇怪有些客戶會(huì)把麻煩的任務(wù)、花費(fèi)較大的任務(wù)都外包給云計(jì)算。雖然云計(jì)算供應(yīng)商們表示，他們歡迎這個(gè)新的業(yè)務(wù)機(jī)遇，支持云計(jì)算大數(shù)據(jù)分析可以迫使他們面對(duì)可管理的不同架構(gòu)困難。

根據(jù)幾位云計(jì)算供應(yīng)商的說(shuō)法，云計(jì)算的彈性特征使它成為大數(shù)據(jù)分析的理想選擇，大數(shù)據(jù)分析是指通過(guò)快速實(shí)施大容量非結(jié)構(gòu)化數(shù)據(jù)可識(shí)別模式和完善業(yè)務(wù)策略。與此同時(shí)，云計(jì)算分布的特性也將成為大數(shù)據(jù)分析的問(wèn)題。

“如果你正在運(yùn)行Hadoop集群和諸如此類的工具，他們給存儲(chǔ)帶來(lái)一個(gè)真正的高負(fù)載，而在大多數(shù)云計(jì)算中，存儲(chǔ)的性能并不足夠好，”CloudSigma的共同創(chuàng)始人和CTO說(shuō)，CloudSigma是一家位于蘇黎世的基礎(chǔ)設(shè)施即服務(wù)（IaaS）供應(yīng)商。“云計(jì)算的大問(wèn)題就是使存儲(chǔ)以某個(gè)水平運(yùn)行從而確保這種計(jì)算，而這也就是為什么有些人不會(huì)對(duì)大數(shù)據(jù)處理使用云計(jì)算的最大原因。”

但是Jenkins和其他的云計(jì)算供應(yīng)商們強(qiáng)調(diào)，這些挑戰(zhàn)并不是不可克服的，很多供應(yīng)商們已經(jīng)有計(jì)劃調(diào)整他們的云計(jì)算架構(gòu)以改善他們所有云計(jì)算服務(wù)的容量、性能以及敏捷度，他們預(yù)計(jì)還可為云計(jì)算中的大數(shù)據(jù)分析提供更好的支持。

“這與越來(lái)越多的公司實(shí)施云計(jì)算時(shí)我們所采取的措施一樣：我們?nèi)绾卫^續(xù)為需求提供支持？”Evolve IP的云計(jì)算副總裁Joseph Corvaia說(shuō)，Evolve IP是一家位于賓州Wayne的云計(jì)算供應(yīng)商。“但是，我不知道我們現(xiàn)在在做的一切與我們之前所做的有什么樣的不同。我們只是對(duì)觀察所消費(fèi)的東東極具洞察力，根據(jù)在一個(gè)特定測(cè)量時(shí)期中我們所得到的測(cè)量數(shù)據(jù)，保持被消費(fèi)的速度和所需新增的容量的協(xié)調(diào)比例。”

根據(jù)SHI國(guó)際（這是一家位于新澤西州Somerset的大型經(jīng)銷商、管理服務(wù)供應(yīng)商（MSP）和云計(jì)算供應(yīng)商）首席技術(shù)專家和管理合伙人Henry Fastert的說(shuō)法，制定一個(gè)支持云計(jì)算大數(shù)據(jù)分析的架構(gòu)并不比滿足一般云計(jì)算服務(wù)快速增長(zhǎng)需求的挑戰(zhàn)更艱巨。

“作為一個(gè)云計(jì)算供應(yīng)商，特別是此時(shí)此刻在這個(gè)市場(chǎng)，我不知道是否將會(huì)有一些大的需求，”Fastert說(shuō)。“近來(lái)，我遇到這樣一個(gè)情況，有一家小額博彩公司向我咨詢，我是否能夠在一周的時(shí)間內(nèi)增加兩千臺(tái)八路虛擬機(jī)。幸運(yùn)的是，我們有能力實(shí)現(xiàn)這一點(diǎn)。我們需要定期增加容量，但有時(shí)候我們需要在很短的時(shí)間內(nèi)增加容量。”

云計(jì)算存儲(chǔ)會(huì)拖累大數(shù)據(jù)分析

云計(jì)算存儲(chǔ)在大數(shù)據(jù)分析方面面臨的挑戰(zhàn)可分為兩類：容量和性能。

從平臺(tái)的角度來(lái)看，擴(kuò)大容量是所有云計(jì)算供應(yīng)商需要高度密切關(guān)注的事情。

“數(shù)據(jù)保留以每年兩倍或三倍的速度增長(zhǎng)著，這是因?yàn)榭蛻舴矫娴脑?。?dāng)然，這也會(huì)影響我們，因?yàn)槲覀冃枰峁┤萘浚?rdquo;Corvaia說(shuō)。

在一個(gè)高度虛擬化、分布式云計(jì)算中的存儲(chǔ)性能會(huì)對(duì)它自己非?？量?，而大數(shù)據(jù)分析的需求放大了這個(gè)問(wèn)題，幾個(gè)云計(jì)算供應(yīng)商都做出了這樣的表示。

SHI國(guó)際的云計(jì)算戰(zhàn)略是基于該公司的vCore模式而建立的，其資產(chǎn)品牌為“服務(wù)器、存儲(chǔ)器和路由器的有限集合”,Fastert說(shuō)。分布式存儲(chǔ)架構(gòu)可使SHI國(guó)際能夠“真正地優(yōu)化我們基礎(chǔ)設(shè)施的性能，因?yàn)樗且粤６刃问竭M(jìn)行設(shè)置的，”他說(shuō)。

“存儲(chǔ)也是受到特定類型虛擬化發(fā)展影響的，因此你在你的存儲(chǔ)設(shè)備中傳播任務(wù)的方式也將總是會(huì)影響你的性能，”他所。“vCore模型允許我們基于負(fù)載的特性傳播這些負(fù)載，因此我們就能在我們的vCore基礎(chǔ)設(shè)施上查看客戶負(fù)載的特性，然后我們就能夠從一個(gè)存儲(chǔ)性能的角度出發(fā)實(shí)現(xiàn)跨整個(gè)基礎(chǔ)設(shè)施的負(fù)載平衡。”

CloudSigma是參與Helix Nebula聯(lián)營(yíng)企業(yè)的幾家供應(yīng)商中的一家，而Helix Nebula是一家專為科研機(jī)構(gòu)提供服務(wù)的歐洲云計(jì)算供應(yīng)商組合。其客戶包括歐洲航天局（ESA），ESA將使用CloudSigma的基礎(chǔ)設(shè)施來(lái)存儲(chǔ)從明年即將發(fā)射的新衛(wèi)星上采集來(lái)的海量數(shù)據(jù)，Jenkins說(shuō)。他們將從地球發(fā)射的衛(wèi)星將采集環(huán)境數(shù)據(jù)，其中包括氣溫和土壤狀態(tài)等，傳送回ESA云計(jì)算的數(shù)據(jù)流可供實(shí)時(shí)分析。

諸如ESA這樣的大數(shù)據(jù)客戶并沒(méi)有要求CloudSigma升級(jí)其存儲(chǔ)設(shè)備，但是毫無(wú)疑問(wèn)他們肯定能存儲(chǔ)設(shè)備升級(jí)中受益。該公司升級(jí)其架構(gòu)，以便于在開(kāi)始其生態(tài)系統(tǒng)戰(zhàn)略前幾個(gè)月就能夠提升整個(gè)存儲(chǔ)設(shè)備系統(tǒng)的性能，Jenkins說(shuō)，沒(méi)有什么比在云計(jì)算中使存儲(chǔ)設(shè)備運(yùn)行良好更困難的工作了。

“當(dāng)你擁有了這個(gè)多租戶的環(huán)境并把每個(gè)租戶的活動(dòng)都混合在一起時(shí)，它往往看上去就變得越來(lái)越隨機(jī)了，”Jenkins說(shuō)。“磁盤式存儲(chǔ)設(shè)備并不適合于跳動(dòng)讀取，這是因?yàn)檫@類設(shè)備都是旋轉(zhuǎn)運(yùn)行的，所以它讀取數(shù)據(jù)就變得更具隨機(jī)性，對(duì)于用戶來(lái)說(shuō)其性能就下降了許多。這是一個(gè)內(nèi)在的本質(zhì)問(wèn)題，所以這就是為什么我們希望遷移系統(tǒng)，讓系統(tǒng)變得更具分布性，從而能夠更好的處理這一類的負(fù)載。

通過(guò)使用開(kāi)源平臺(tái)和內(nèi)部開(kāi)發(fā)的組合，CloudSigma建立了一個(gè)分層存儲(chǔ)架構(gòu)，它可實(shí)現(xiàn)固態(tài)硬盤（SSD）和磁盤存儲(chǔ)器的更高效使用，Jenkins說(shuō)。其結(jié)果就是，當(dāng)數(shù)據(jù)分布在超過(guò)50或100臺(tái)服務(wù)器而不是一臺(tái)服務(wù)器上時(shí)，整個(gè)架構(gòu)就變得具有較少的變異性和較高的性能，他說(shuō)。

“我們正在整合在每一臺(tái)服務(wù)器的本地存儲(chǔ)設(shè)備，使其成為一個(gè)大型存儲(chǔ)池，”Jenkins說(shuō)。除了它不是一個(gè)SAN（即存儲(chǔ)區(qū)域網(wǎng)絡(luò)）以外，這幾乎就是一個(gè)SAN。

云計(jì)算網(wǎng)絡(luò)和架構(gòu)方面的考量

支持客戶在云計(jì)算中進(jìn)行大數(shù)據(jù)分析的挑戰(zhàn)并沒(méi)有隨著存儲(chǔ)設(shè)備問(wèn)題的解決而結(jié)束。云計(jì)算供應(yīng)商們表示，針對(duì)網(wǎng)絡(luò)和整個(gè)云計(jì)算架構(gòu)，它需要一個(gè)更為全面的方法。

這就意味著承認(rèn)大數(shù)據(jù)分析并不適合使用云計(jì)算，Savvis公司的云計(jì)算解決方案副總裁Jonathan King說(shuō)。但是，這也是互補(bǔ)性托管服務(wù)集合能夠大顯身手的所在，他說(shuō)。

“你總是有需要滿負(fù)荷運(yùn)行的大塊數(shù)據(jù)引擎，這就意味著它與其他組件不同，是專用基礎(chǔ)設(shè)施的理想選擇，它是負(fù)載可變、是適合使用云計(jì)算技術(shù)的，”King說(shuō)。“有很多這樣的工作是批處理的，你將在不同的時(shí)間運(yùn)行四個(gè)或八個(gè)小時(shí)，因此實(shí)現(xiàn)從專用到虛擬的轉(zhuǎn)變是真正有必要的。”

云計(jì)算中的大數(shù)據(jù)分析還為服務(wù)供應(yīng)商們提出了網(wǎng)絡(luò)方面的問(wèn)題。通過(guò)把所有的合作伙伴和客戶聚在一個(gè)云計(jì)算中以及運(yùn)行著一個(gè)10千兆以太網(wǎng)網(wǎng)絡(luò)，CloudSigma實(shí)施者他的生態(tài)系統(tǒng)戰(zhàn)略，“這意味著你可以真正真正快速、低價(jià)地掌控TB級(jí)的海量數(shù)據(jù)，”Jenkins說(shuō)。去年由CenturyLink收購(gòu)的Savvis也正在考慮云計(jì)算大數(shù)據(jù)分析中網(wǎng)絡(luò)因素的影響。

“你不會(huì)希望總是傳輸TB級(jí)和PB級(jí)的數(shù)據(jù)，”King說(shuō)。“把數(shù)據(jù)保存在那里，然后你可以進(jìn)行分析。”

隨著SHI國(guó)際開(kāi)發(fā)的一個(gè)大數(shù)據(jù)云計(jì)算服務(wù)即將問(wèn)世（有可能將于明年正式發(fā)布），云計(jì)算供應(yīng)商正在利用其在云計(jì)算高性能計(jì)算（HPC）方面的經(jīng)驗(yàn)，通過(guò)與HP公司的合作關(guān)系向互聯(lián)網(wǎng)2聯(lián)盟提供基礎(chǔ)設(shè)施即服務(wù)（IaaS）。除了改善了存儲(chǔ)設(shè)備的性能以外，SHI國(guó)際的vCore架構(gòu)還同樣實(shí)現(xiàn)了網(wǎng)絡(luò)和服務(wù)器性能的“自我優(yōu)化”,Fastert說(shuō)。

“事實(shí)證明，相同的方式完全能夠正常運(yùn)行，我們?yōu)镠PC設(shè)計(jì)和優(yōu)化vCore的方法完全適用于大數(shù)據(jù)分析應(yīng)用，”他說(shuō)。“大多數(shù)云計(jì)算供應(yīng)商們基本上都是一個(gè)單片架構(gòu)，他們可以有大量的服務(wù)器、關(guān)系存儲(chǔ)設(shè)備等等，但所有這些都是單一架構(gòu)的。當(dāng)你使用vCore模式時(shí)，它允許你很容易地優(yōu)化基礎(chǔ)設(shè)施的分段。這就證明了，相同形式的優(yōu)化對(duì)于大數(shù)據(jù)分析也具有預(yù)期的良好效果。