有關如何存儲、架構和查詢數(shù)據(jù)的規(guī)則正在發(fā)生巨大的變化。隨著物聯(lián)網(wǎng)、人工智能推動了大數(shù)據(jù)的發(fā)展趨勢,預計到2021年,它將占數(shù)據(jù)中心中存儲數(shù)據(jù)的30%。關鍵是這些數(shù)據(jù)的大部分是非結構化的;Gartner預測大約80%的非結構化數(shù)據(jù)。傳統(tǒng)的數(shù)據(jù)庫是在因特網(wǎng)之前設計的,無法處理所創(chuàng)建數(shù)據(jù)的類型和數(shù)量。因此,SQL查詢和有關的數(shù)據(jù)庫系統(tǒng)都消失了。這些傳統(tǒng)系統(tǒng)是圍繞結構化數(shù)據(jù)的概念構建的,這些數(shù)據(jù)與有限領域中非常具體和狹義的應用程序相關聯(lián)。這些傳統(tǒng)系統(tǒng)中的數(shù)據(jù)量和數(shù)據(jù)使用范圍也是有限的,極大地降低了它們在非結構化大數(shù)據(jù)范例世界中的生存能力。所以,接下來需要什么呢?需要更好的儲存空間當前用于存儲數(shù)據(jù)的基礎設施效率極低。對云存儲(許多企業(yè)現(xiàn)在都這么做)之類的東西的依賴帶來了大量的問題:不僅擴展成本很高,而且在處理大量數(shù)據(jù)時,性能也受到了很大的阻礙。除了所施加的技術限制外,信任一個服務(特別是敏感信息)時也存在隱私風險,而且我們已經(jīng)看到越來越多的數(shù)據(jù)破壞發(fā)生在集中式系統(tǒng)中。企業(yè)應該考慮使用其他存儲方法——他們比以前擁有了更多的數(shù)據(jù)(每天產(chǎn)生25億字節(jié))。如果不能利用這些數(shù)據(jù)來獲得廣泛的受眾,從而增加收入,那么這些數(shù)據(jù)就會被浪費掉。為了在這個快速發(fā)展的世界中存儲數(shù)據(jù),必須創(chuàng)建更有彈性和更高效的數(shù)據(jù)庫。他們必須高度安全,善于滿足物聯(lián)網(wǎng)和人工智能領域的應用需求。為此,我認為區(qū)塊鏈技術是一種理想的解決方案。用區(qū)塊鏈處理數(shù)據(jù)與Amazon或Google這樣的實體運行不同,區(qū)塊鏈的完整性是由網(wǎng)絡中同步數(shù)據(jù)庫副本的節(jié)點保證的。從安全的角度來看,這非常難以妥協(xié),要求一方獲得對大多數(shù)節(jié)點的控制權,才能夠更改分類帳上的條目。由于節(jié)點是分布式的,并且是對等的,因此不存在形成瓶頸的可能性。然而,區(qū)塊鏈系統(tǒng)最重要的特性之一是不變性:一旦一個條目被添加到數(shù)據(jù)庫中,它就不能被刪除。對數(shù)據(jù)庫使用區(qū)塊鏈似乎是一個合理的進步。這無疑是一場尋求為跨行業(yè)的分散式建筑打下基礎的運動。使用區(qū)塊鏈,類似于AirBnB或Uber的市場可以實現(xiàn)存儲網(wǎng)絡上的數(shù)據(jù),可以激勵用戶使用區(qū)塊鏈協(xié)議的內(nèi)置支付層復制和保留信息。通過使用分片和群集,這個概念可以更進一步。分片提供了更大程度的隱私,這樣,您就可以將文件的片段分發(fā)給其他節(jié)點,而不是將文件分發(fā)給其他節(jié)點。通過這種方式,所有者可以確信那些擁有數(shù)據(jù)的人不能訪問數(shù)據(jù),因為他們只能持有一小塊且不可讀。在數(shù)據(jù)的前后連續(xù)處理中,群集是一個根據(jù)地理位置將網(wǎng)絡劃分為節(jié)點群集的概念。這對于確保網(wǎng)絡能夠24小時處理高吞吐量至關重要。群集中的節(jié)點可以從最靠近它們的節(jié)點(減少延遲)獲取數(shù)據(jù),或者從多個源并行下載分片,以實現(xiàn)難以置信的快速檢索。相同的分片被復制到多個節(jié)點上并存儲,因此,如果其中一個節(jié)點發(fā)生故障,數(shù)據(jù)仍然可以訪問(不同于集中式服務器,它們需要經(jīng)常離線進行維護)。新的基礎設施人工智能需要大量的數(shù)據(jù),以便于使網(wǎng)絡在一系列行業(yè)中表現(xiàn)的更好。大數(shù)據(jù)分析,顧名思義,是基于處理大數(shù)據(jù)集。
這里有一個共同的主題:一個基礎設施需要包含比我們習慣存儲的更多的信息。我們迄今使用的過時的前互聯(lián)網(wǎng)數(shù)據(jù)庫顯然跟不上時代的步伐?,F(xiàn)在是使用區(qū)塊鏈來創(chuàng)建新方法的時候了:使用區(qū)塊鏈可以使你的系統(tǒng)更強大、更安全、更快速和可伸縮,從而真正推動創(chuàng)新。