數(shù)據(jù)顯然不再是以往的樣子。作為數(shù)字化轉(zhuǎn)型的一部分，各種組織正在尋找數(shù)據(jù)的新用途。從飛機(jī)引擎的數(shù)據(jù)到雜貨店的消費(fèi)數(shù)據(jù)，每個(gè)行業(yè)都有大量的例子，數(shù)據(jù)成為企業(yè)競(jìng)爭(zhēng)優(yōu)勢(shì)的關(guān)鍵所在。人們將這些數(shù)據(jù)稱之為新數(shù)據(jù)，這與人們最熟悉的財(cái)務(wù)和ERP數(shù)據(jù)截然不同。那些原有的數(shù)據(jù)大部分是交易性的，而且是從內(nèi)部資源中捕獲的，而新數(shù)據(jù)推動(dòng)了客戶機(jī)/服務(wù)器的革命。
新的數(shù)據(jù)既是交易型的，也是非結(jié)構(gòu)化的，公開可用，以及私下收集的，其價(jià)值來(lái)源于對(duì)其進(jìn)行匯總和分析的能力。粗略地說(shuō)，人們可以將這些新數(shù)據(jù)分為兩類：大數(shù)據(jù)——用于批量分析的大量聚合數(shù)據(jù)集，快速數(shù)據(jù)——從許多來(lái)源收集的用于推動(dòng)立即決策的數(shù)據(jù)。大數(shù)據(jù)和快速數(shù)據(jù)模式正在推動(dòng)數(shù)據(jù)中心(公共和私有)的全新架構(gòu)的發(fā)展。
以下介紹數(shù)據(jù)中心新架構(gòu)所提出的五個(gè)主要的數(shù)據(jù)挑戰(zhàn)：
(1)數(shù)據(jù)捕獲正在推動(dòng)數(shù)據(jù)中心架構(gòu)從邊緣到核心的發(fā)展：從源頭獲取新的數(shù)據(jù)。這些數(shù)據(jù)來(lái)自海洋，來(lái)自石油和天然氣勘探，也可能來(lái)自于衛(wèi)星軌道、天氣應(yīng)用、電話、圖片、視頻和推特或電影的場(chǎng)景中。從源頭收集的數(shù)據(jù)量將比人們目前所知道的高出幾個(gè)數(shù)量級(jí)。
(2)數(shù)據(jù)規(guī)模正在推動(dòng)數(shù)據(jù)中心的自動(dòng)化發(fā)展：大型云提供商的規(guī)模已經(jīng)十分龐大，他們必須在自動(dòng)化和智能化方面投入大量資金來(lái)管理基礎(chǔ)設(shè)施。任何人工管理在其運(yùn)營(yíng)規(guī)模上成本高昂。
(3)移動(dòng)數(shù)據(jù)正在改變?nèi)蚓W(wǎng)絡(luò)：如果數(shù)據(jù)無(wú)處不在，那么必須移動(dòng)數(shù)據(jù)才能進(jìn)行匯總和分析。當(dāng)人們認(rèn)為并且希望網(wǎng)絡(luò)在40到100 Gbps的速度可以滿足互聯(lián)網(wǎng)帶寬要求時(shí)，數(shù)據(jù)移動(dòng)的需求卻可能會(huì)增加100倍到1000倍。
(4)數(shù)據(jù)價(jià)值是革命性存儲(chǔ)：毫無(wú)疑問(wèn)，數(shù)據(jù)對(duì)組織來(lái)說(shuō)越來(lái)越有價(jià)值，數(shù)據(jù)在較長(zhǎng)時(shí)間內(nèi)的實(shí)用性隨著機(jī)器學(xué)習(xí)和基于人工智能(AI)的分析而日益增長(zhǎng)。這意味著更多的數(shù)據(jù)需要存儲(chǔ)更長(zhǎng)的時(shí)間，并且數(shù)據(jù)必須是可以整體處理的，以便有效分析。
(5)數(shù)據(jù)分析是未來(lái)計(jì)算密集型體系結(jié)構(gòu)的驅(qū)動(dòng)因素：通過(guò)分析的性質(zhì)，特別是機(jī)器學(xué)習(xí)，組織必須保留更多的數(shù)據(jù)，以便將其聚合到大數(shù)據(jù)存儲(chǔ)庫(kù)中。當(dāng)應(yīng)用于多個(gè)更大的數(shù)據(jù)源時(shí)，這些類型的分析提供了更好的答案。而分析和機(jī)器學(xué)習(xí)是一種計(jì)算密集型操作，因此大數(shù)據(jù)集上的分析驅(qū)動(dòng)大量的高速處理。與此同時(shí)，分析的計(jì)算密集性促使組織推出從內(nèi)存數(shù)據(jù)庫(kù)到100 PB級(jí)別的對(duì)象存儲(chǔ)多種新方式來(lái)存儲(chǔ)和訪問(wèn)數(shù)據(jù)。
新的數(shù)據(jù)在源頭被采集。從源頭收集的數(shù)據(jù)量將比人們目前所熟悉的高出幾個(gè)數(shù)量級(jí)。例如，一輛自動(dòng)駕駛汽車每天將產(chǎn)生高達(dá)4TB的數(shù)據(jù)。而全球的汽車數(shù)量數(shù)以億計(jì)，人們?cè)谖磥?lái)必須應(yīng)對(duì)這種新的數(shù)據(jù)沖擊。
很明顯，人們不能從源頭采集所有的數(shù)據(jù)，并嘗試通過(guò)當(dāng)今的網(wǎng)絡(luò)將其傳輸?shù)郊械奈恢眠M(jìn)行處理和存儲(chǔ)。這推動(dòng)了數(shù)據(jù)中心全新模式的發(fā)展，不同的環(huán)境以不同類型的數(shù)據(jù)為特征，這種新的“邊緣計(jì)算”環(huán)境被優(yōu)化，以便在傳輸?shù)揭粋€(gè)獨(dú)立的核心數(shù)據(jù)中心環(huán)境之前，對(duì)大量數(shù)據(jù)進(jìn)行捕獲、存儲(chǔ)，以及部分分析。
新的邊緣計(jì)算環(huán)境將推動(dòng)計(jì)算基礎(chǔ)架構(gòu)各個(gè)方面的根本性變革：從CPU到GPU甚至MPU(微處理單元)，從低功耗的小型閃存存儲(chǔ)到物聯(lián)網(wǎng)(IoT)網(wǎng)絡(luò)和協(xié)議，不需要寶貴的IP地址。
以下來(lái)看不同的數(shù)據(jù)采集例子。在生物信息學(xué)領(lǐng)域，數(shù)據(jù)在源頭上得到爆炸式增長(zhǎng)。在X光檢查乳腺癌的情況下，拍攝這些圖像的系統(tǒng)正在從二維圖像轉(zhuǎn)變成三維圖像。二維圖像需要大約20MB的容量來(lái)存儲(chǔ)，而三維圖像則需要多達(dá)3GB的存儲(chǔ)容量，這意味著存儲(chǔ)這些圖像所需的容量增加了150倍。不幸的是，大多數(shù)存儲(chǔ)二維圖像的數(shù)字存儲(chǔ)系統(tǒng)根本無(wú)法經(jīng)濟(jì)有效地存儲(chǔ)三維圖像。以往的存儲(chǔ)系統(tǒng)被大數(shù)據(jù)庫(kù)取代才能使數(shù)據(jù)蓬勃發(fā)展。
另外，組織希望對(duì)這些圖像執(zhí)行的處理類型是基于機(jī)器學(xué)習(xí)的，并且比以前任何類型的圖像處理計(jì)算強(qiáng)大得多。最重要的是，為了進(jìn)行機(jī)器學(xué)習(xí)，研究人員必須匯集大量的圖像進(jìn)行處理才能有效。處理這些圖像意味著要跨組織來(lái)移動(dòng)或共享圖像，這些圖像需要從源頭獲取數(shù)據(jù)，保存在可訪問(wèn)的表單中(不是磁帶上)，聚合成大型圖像庫(kù)，然后用于大規(guī)模的機(jī)器學(xué)習(xí)分析。
圖像可能以原始形式存儲(chǔ)，但元數(shù)據(jù)通常在源頭添加。另外，可以在源頭完成一些處理以實(shí)現(xiàn)“信噪比”的最大化。可以支持這些圖像的最終架構(gòu)的特點(diǎn)是：(1)在源頭存儲(chǔ)數(shù)據(jù)。(2)將數(shù)據(jù)復(fù)制到共享存儲(chǔ)庫(kù)(通常在公共云中)。(3)從共享的存儲(chǔ)庫(kù)處理資源以分析和處理數(shù)據(jù)。(4)采用網(wǎng)絡(luò)連接以便結(jié)果可以返回給研究人員。這個(gè)新的工作流程正在推動(dòng)包含多個(gè)存儲(chǔ)位置的數(shù)據(jù)架構(gòu)發(fā)展，并根據(jù)需要移動(dòng)數(shù)據(jù)并在多個(gè)位置進(jìn)行處理。
對(duì)于制造行業(yè)的物聯(lián)網(wǎng)用例，這種數(shù)據(jù)架構(gòu)的變化更加劇烈。例如，在西部數(shù)據(jù)公司，人們從全球各地的機(jī)器收集數(shù)據(jù)。這些數(shù)據(jù)被發(fā)送到一個(gè)存儲(chǔ)在三個(gè)位置的中央大數(shù)據(jù)存儲(chǔ)庫(kù)，一部分?jǐn)?shù)據(jù)被推送到亞馬遜的Apache Hadoop數(shù)據(jù)庫(kù)中進(jìn)行快速數(shù)據(jù)分析處理。其結(jié)果可供全公司的工程師進(jìn)行可視化和后處理。對(duì)源數(shù)據(jù)進(jìn)行處理，以提高該數(shù)據(jù)的信噪比，并對(duì)數(shù)據(jù)進(jìn)行歸一化。對(duì)數(shù)據(jù)執(zhí)行額外的處理，因?yàn)樗谶壿嬌霞械奈恢檬占趯?duì)象存儲(chǔ)庫(kù)中。
由于這些數(shù)據(jù)必須長(zhǎng)期受到保護(hù)，因此需要進(jìn)行擦除編碼，并分布在三個(gè)不同的地點(diǎn)。最后，數(shù)據(jù)一旦進(jìn)入亞馬遜平臺(tái)，將再次使用分析處理。而支持制造用例的體系結(jié)構(gòu)是一種邊緣到核心的體系結(jié)構(gòu)，在許多位置都可以進(jìn)行大數(shù)據(jù)和快速數(shù)據(jù)處理，而且這些組件是專門為此過(guò)程的每個(gè)步驟所需的處理類型而構(gòu)建的。
由于集中式數(shù)據(jù)的概念不再適用，這些用例需要一種新的數(shù)據(jù)架構(gòu)方法。人們需要有一個(gè)邏輯上集中的數(shù)據(jù)視圖，同時(shí)可以在任何工作流程的多個(gè)步驟中靈活地處理數(shù)據(jù)。數(shù)據(jù)量將會(huì)非常大，盲目地將全部的數(shù)據(jù)推送到一個(gè)中央存儲(chǔ)庫(kù)將會(huì)帶來(lái)成本和時(shí)間方面更多的限制。智能體系結(jié)構(gòu)需要開發(fā)人員了解如何在考慮到數(shù)據(jù)規(guī)模、傳輸成本以及處理要求的權(quán)衡的情況下逐步處理數(shù)據(jù)。
在西部數(shù)據(jù)公司，已經(jīng)開發(fā)了其內(nèi)部的物聯(lián)網(wǎng)數(shù)據(jù)架構(gòu)，以便擁有一個(gè)“干凈”數(shù)據(jù)的權(quán)威來(lái)源。數(shù)據(jù)在到達(dá)該權(quán)威來(lái)源之前被清理和規(guī)范化，一旦達(dá)到該數(shù)據(jù)源，就可以推送到多個(gè)來(lái)源進(jìn)行適當(dāng)?shù)姆治龊涂梢暬?。其?quán)威來(lái)源負(fù)責(zé)對(duì)數(shù)據(jù)進(jìn)行長(zhǎng)期保存，所以為了滿足數(shù)據(jù)的安全要求，它必須在自己內(nèi)部部署的數(shù)據(jù)中心(實(shí)際上有三個(gè)托管的內(nèi)部數(shù)據(jù)中心)。由于大部分清理工作都是在源頭進(jìn)行，所以大部分的分析工作都是在云端進(jìn)行的，以便擁有最大的靈活性。
底線是組織需要停止考慮將大型數(shù)據(jù)集集中存儲(chǔ)和訪問(wèn)。數(shù)據(jù)需要存儲(chǔ)在適合其預(yù)期用途的環(huán)境中。人們稱之為“數(shù)據(jù)蓬勃發(fā)展的環(huán)境”。大數(shù)據(jù)集需要共享，不僅用于協(xié)同處理，還要匯總用于機(jī)器學(xué)習(xí)，還要在云端之間進(jìn)行分離，以便進(jìn)行計(jì)算和分析。以數(shù)據(jù)中心為中心的架構(gòu)解決大數(shù)據(jù)存儲(chǔ)問(wèn)題并不是一個(gè)好方法。為了從未來(lái)的大數(shù)據(jù)集獲得最大的價(jià)值，需要采用一種邊緣到核心的架構(gòu)，并與混合云體系結(jié)構(gòu)相結(jié)合。
版權(quán)聲明：本文為企業(yè)網(wǎng)D1Net編譯，轉(zhuǎn)載需注明出處為：企業(yè)網(wǎng)D1Net，如果不注明出處，企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。
京公網(wǎng)安備 11010502049343號(hào)