從事新的物聯(lián)網(wǎng)和大數(shù)據(jù)項(xiàng)目,將要嚴(yán)格審查其所需的處理能力、內(nèi)存、存儲(chǔ)和聯(lián)網(wǎng)所涉及的資源,以及如何最好地利用所需要的能力。
大數(shù)據(jù)和物聯(lián)網(wǎng)的項(xiàng)目對(duì)企業(yè)的IT基礎(chǔ)設(shè)施帶來了新的壓力,而不是他們的工作負(fù)載。
物聯(lián)網(wǎng)(IOT)和大數(shù)據(jù)應(yīng)用程序?qū)?huì)為互聯(lián)網(wǎng)網(wǎng)絡(luò)和存儲(chǔ)基礎(chǔ)設(shè)施帶來壓力,更不用說必須使用不同的技能和工具來管理這些部署的IT專家。
他們對(duì)于執(zhí)行來說是一個(gè)挑戰(zhàn),但對(duì)采取對(duì)物聯(lián)網(wǎng)和大數(shù)據(jù)托管IT團(tuán)隊(duì)也有一些指導(dǎo)原則,首先要審議大規(guī)模的數(shù)據(jù)密集型項(xiàng)目的基礎(chǔ)設(shè)施需求。
更多的處理能力
一旦項(xiàng)目的范圍成為焦點(diǎn),對(duì)于一個(gè)IT組織來說,將需要對(duì)硬件、軟件和服務(wù)供應(yīng)商時(shí)行結(jié)合,以確定適當(dāng)?shù)南到y(tǒng)架構(gòu)和操作系統(tǒng),每個(gè)系統(tǒng)的處理器的數(shù)量,以及系統(tǒng)的數(shù)量,其中包括物理,虛擬和基于云計(jì)算的,這些舉措都是必要的。
大數(shù)據(jù)項(xiàng)目往往是基于Windows或Linux操作系統(tǒng),在基于x86的服務(wù)器行業(yè)標(biāo)準(zhǔn)上執(zhí)行。在其他情況下,也有基于大型機(jī)或單一供應(yīng)商系統(tǒng)體系結(jié)構(gòu)和操作系統(tǒng)的有用工具。在大多數(shù)情況下,IT團(tuán)隊(duì)將使用一個(gè)擴(kuò)展架構(gòu)的工業(yè)標(biāo)準(zhǔn)服務(wù)器集群,通過大量使用處理器、內(nèi)存、網(wǎng)絡(luò)和存儲(chǔ)來支持工作負(fù)載的運(yùn)行。
物聯(lián)網(wǎng)項(xiàng)目往往還包括基于單一廠商的中端系統(tǒng)以及大型機(jī)的后端系統(tǒng)。
為了最大限度地提高可用的處理能力,同時(shí)最大限度地減少對(duì)硬件的整體投資,正確配置系統(tǒng),集群和其他組件。這就需要對(duì)組織為項(xiàng)目選擇的大數(shù)據(jù)工具和NoSQL數(shù)據(jù)庫有一個(gè)深入的了解。類似的理解也可用在通知的工具,如智能電話,平板電腦,汽車等其它智能設(shè)備。
配置不當(dāng)?shù)姆?wù)器集群或其他基礎(chǔ)設(shè)施的失誤,可能會(huì)阻礙這些項(xiàng)目的運(yùn)作,并導(dǎo)致失敗,即使選擇了適當(dāng)?shù)墓ぞ摺?/p>
一些后端數(shù)據(jù)分析和報(bào)表工具在一個(gè)大的集群系統(tǒng)上運(yùn)行。其他支持一些較小的集群:一種支持包含用于分析原始數(shù)據(jù)的數(shù)據(jù)存儲(chǔ),另一個(gè)支持來處理原始數(shù)據(jù)轉(zhuǎn)換成有用的信息的工具。另一個(gè)集群可能需要支持的報(bào)告工具,可以將有用的信息到適當(dāng)?shù)男问剑ㄈ绫砀?、圖形或其他格式)提供給分析師和數(shù)據(jù)科學(xué)家。
物聯(lián)網(wǎng)項(xiàng)目還添加到客戶端設(shè)備的元素,以提供所需的信息、指導(dǎo)或支持。一個(gè)組織將需要使用這些工具的專業(yè)知識(shí),以及一個(gè)完整了解其如何計(jì)劃使用的工具。
在此過程中,經(jīng)常詢問值得信賴的顧問和供應(yīng)商,以了解所需的工具和方法,選擇適當(dāng)?shù)闹С帧?/p>
內(nèi)存,存儲(chǔ)和網(wǎng)絡(luò)的關(guān)注
只是添加更多的系統(tǒng)的內(nèi)存和存儲(chǔ)并不總是確保物聯(lián)網(wǎng)和大數(shù)據(jù)部署獲得更好的整體性能。這是因?yàn)樗麄兊奶幚砟芰?、不同的方法以及工具需要不同?shù)量的系統(tǒng)內(nèi)存。
每一種方法及其相關(guān)的工具集,都有一定的局限性。IT規(guī)劃者把物聯(lián)網(wǎng)和大數(shù)據(jù)平臺(tái)放在一起,必須研究每一個(gè)工具的資源,并考慮他們將如何使用這些資源,如果資源是可用的話。
如果一個(gè)公司安裝的內(nèi)存比選擇工具所需要使用的內(nèi)存更多,那么可能只會(huì)增加功耗和發(fā)熱量,對(duì)整體性能沒有任何的改善,并對(duì)數(shù)據(jù)中心的電力和冷卻系統(tǒng)增加不必要的壓力。
在物聯(lián)網(wǎng)和大數(shù)據(jù)方案的另一個(gè)要素是存儲(chǔ)性能和容量。像處理能力和內(nèi)存容量,存儲(chǔ)設(shè)備的選擇,專用的容量,以及如何存儲(chǔ)聯(lián)網(wǎng)有助于大數(shù)據(jù)產(chǎn)品的最佳性能。并在物聯(lián)網(wǎng)案例中快速響應(yīng)。
而內(nèi)存和計(jì)算組件,存儲(chǔ)配置必須匹配選擇方法和工具集的要求。不要指望簡(jiǎn)單的收益增加更多的存儲(chǔ),選擇更快的設(shè)備或升級(jí)存儲(chǔ)區(qū)域網(wǎng)絡(luò)。即使存儲(chǔ)性能的增加,其升級(jí)可能會(huì)抵消造成網(wǎng)絡(luò)瓶頸的增益。
一些大數(shù)據(jù)工具使用多余的存儲(chǔ)容量作為數(shù)據(jù)存儲(chǔ)區(qū)的一部分,在內(nèi)存數(shù)據(jù)庫中創(chuàng)建一個(gè)內(nèi)存數(shù)據(jù)庫。這種方法可以加快分析和報(bào)告的處理。這里有一個(gè)問題:如果系統(tǒng)沒有可靠的電源保護(hù),如果電源失敗,這個(gè)數(shù)據(jù)可以被丟失。
不要陷入任何單一類型的存儲(chǔ)或存儲(chǔ)區(qū)域網(wǎng)絡(luò)的炒作。分析人士指出,內(nèi)存駐留數(shù)據(jù)庫或閃存存儲(chǔ)不會(huì)解決每個(gè)問題。
一些存儲(chǔ)虛擬化軟件供應(yīng)商,如DataCore軟件,要注意的是,底層的操作系統(tǒng)一次可能只處理一個(gè)I/O請(qǐng)求。這個(gè)供應(yīng)商的方法是添加軟件,使該系統(tǒng)能夠執(zhí)行多個(gè)并行請(qǐng)求。
網(wǎng)絡(luò)基礎(chǔ)設(shè)施是任何分布式或集群計(jì)算工具的關(guān)鍵。其容量、延遲和性能可以促進(jìn)或阻礙這種類型的技術(shù)的發(fā)展。同樣,對(duì)于處理器,存儲(chǔ)器和存儲(chǔ)子系統(tǒng),網(wǎng)絡(luò)基礎(chǔ)設(shè)施必須小心地選擇。
如果網(wǎng)絡(luò)不具備足夠的能力,響應(yīng)緩慢或當(dāng)大數(shù)據(jù)工具需要?jiǎng)e的東西或I/O請(qǐng)求被偏置時(shí),業(yè)績(jī)將受到影響。網(wǎng)絡(luò)設(shè)置不會(huì)處理大小流量,同樣,物聯(lián)網(wǎng)系統(tǒng)的智能設(shè)備對(duì)突發(fā)的數(shù)據(jù)請(qǐng)求同樣不分大小。平衡這兩種類型的請(qǐng)求可能是具有挑戰(zhàn)性的。
一個(gè)沒有提供的或設(shè)計(jì)不當(dāng)?shù)拇鎯?chǔ)子系統(tǒng)會(huì)降低大數(shù)據(jù)或物聯(lián)網(wǎng)系統(tǒng)的有效性。
至于其他組成部分,要調(diào)查網(wǎng)絡(luò)媒體的特點(diǎn),如千兆以太網(wǎng)或光纖通道,在購(gòu)買網(wǎng)絡(luò)服務(wù)之前,要進(jìn)行成本/效益分析。
專家曾經(jīng)遇到過一個(gè)項(xiàng)目,試圖捕捉然后分析數(shù)以百萬計(jì)小型移動(dòng)設(shè)備的信息,這是早期的物聯(lián)網(wǎng)項(xiàng)目。這家公司了解到處理負(fù)載其網(wǎng)絡(luò)速度不夠快,因?yàn)樗驯辉O(shè)置為管理批量數(shù)據(jù)傳輸,而不是響應(yīng)數(shù)以百萬計(jì)的微小數(shù)據(jù)的請(qǐng)求。