不可不知的云計(jì)算知識(shí)點(diǎn)

責(zé)任編輯:editor005

2014-11-20 11:31:59

摘自:36大數(shù)據(jù)

1、基礎(chǔ)設(shè)施云(Infrastructure Cloud):為用戶提供的是底層的、接近于直接操作硬件資源的服務(wù)接口,通過(guò)調(diào)用這些接口,用戶可以直接獲得計(jì)算和存儲(chǔ)能力,而且相當(dāng)靈活自如,幾乎不受邏輯上的限制。

云計(jì)算

  云計(jì)算的分類

1、基礎(chǔ)設(shè)施云(Infrastructure Cloud):為用戶提供的是底層的、接近于直接操作硬件資源的服務(wù)接口,通過(guò)調(diào)用這些接口,用戶可以直接獲得計(jì)算和存儲(chǔ)能力,而且相當(dāng)靈活自如,幾乎不受邏輯上的限制。用戶需要進(jìn)行大量工作來(lái)設(shè)計(jì)和實(shí)現(xiàn)自己的應(yīng)用。因?yàn)榛A(chǔ)設(shè)施云除了為用戶提供計(jì)算和存儲(chǔ)等基礎(chǔ)功能外,不進(jìn)一步做任何應(yīng)用類型的假設(shè)。

2、平臺(tái)云(PlatformCloud):為用戶提供一個(gè)托管平臺(tái),用戶可以將他們開發(fā)和運(yùn)營(yíng)的應(yīng)用托管到云平臺(tái)中。但是,這個(gè)應(yīng)用的開發(fā)部署必須遵守該平臺(tái)特定的規(guī)則和限制。

3、應(yīng)用云(ApplicationCloud):為用戶提供可以為其直接所有的應(yīng)用,這些應(yīng)用一般是基于瀏覽器的,針對(duì)某一一項(xiàng)特定的功能。但是,它們是靈活性最低的,因?yàn)橐环N應(yīng)用云只針對(duì)一種特定的功能,無(wú)法提供其他功能的應(yīng)用。

云計(jì)算的本質(zhì)

云計(jì)算利用高速互聯(lián)網(wǎng)的傳輸能力,將數(shù)據(jù)的處理過(guò)程從個(gè)人計(jì)算機(jī)或服務(wù)器移到互聯(lián)網(wǎng)上的集群中。這些計(jì)算機(jī)都是普通的工業(yè)標(biāo)準(zhǔn)服務(wù)器,由一個(gè)大型的數(shù)據(jù)處理中心管理。數(shù)據(jù)中心按客戶的需求即時(shí)進(jìn)行資源的聚合、重組和分配,達(dá)到與超級(jí)計(jì)算機(jī)同樣的效果。

云計(jì)算的體系架構(gòu)

云計(jì)算核心業(yè)務(wù)層通常可以分為:基礎(chǔ)設(shè)施即服務(wù)(IaaS),平臺(tái)即服務(wù)(PaaS),軟件即服務(wù)(SaaS)三個(gè)層次。

云計(jì)算的云存儲(chǔ)技術(shù):

云存儲(chǔ)是指通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)、或分布式文件系統(tǒng)等功能,將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作,共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能的一個(gè)系統(tǒng)。

云存儲(chǔ)系統(tǒng)的結(jié)構(gòu)模型

云數(shù)據(jù)存儲(chǔ)技術(shù)

云計(jì)算采用分布式存儲(chǔ)的方式來(lái)存儲(chǔ)數(shù)據(jù),采用冗余存儲(chǔ)的方式來(lái)保證存儲(chǔ)數(shù)據(jù)的可靠性,即為同一份數(shù)據(jù)存儲(chǔ)多個(gè)副本。云計(jì)算系統(tǒng)需要同時(shí)滿足大量用戶的需求,并行地為大量用戶提供服務(wù)。因此,云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)必須具有高吞吐率和高傳輸率的特點(diǎn)。

云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)主要有谷歌非開源的GFS(Google File System)和Hadoop開發(fā)團(tuán)隊(duì)開發(fā)的開源的GFS——HDFS(Hadoop Distributed File System)大部分IT廠商,包括Yahoo、Intel的“云”計(jì)劃采用的都是HDFS的數(shù)據(jù)存儲(chǔ)技術(shù)。未來(lái)的發(fā)展將將集中在超大規(guī)模的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)加密和安全性保證以及繼續(xù)提高I/O速率等方面。

GFS是一個(gè)可擴(kuò)展的分布式文件系統(tǒng),用于大型的、分布式的、對(duì)大量數(shù)據(jù)進(jìn)行訪問(wèn)的應(yīng)用。GFS應(yīng)用于廉價(jià)的普通硬件上,但可以提供容錯(cuò)功能,可以給大量用戶提供總體性能較高的服務(wù)。一個(gè)GFS集群包含一個(gè)主服務(wù)器(master)和多個(gè)塊服務(wù)器(chunkserver)被多個(gè)客戶端(client)訪問(wèn)。

HDFS Hadoop中的分布式文件系統(tǒng)HDFS由一個(gè)管理節(jié)點(diǎn)(Namenode)和四個(gè)數(shù)據(jù)節(jié)點(diǎn)(Datanode)組成。Namenode是整個(gè)HDFS的核心,管理文件系統(tǒng)的Namepace和客戶端對(duì)文件的訪問(wèn)。

主要云計(jì)算平臺(tái)

目前,Amazon、Google、IBM、Microsoft、Sun等公司提出的云計(jì)算基礎(chǔ)或云計(jì)算平臺(tái)雖然比較商業(yè)化,但對(duì)于研究云計(jì)算確實(shí)比較有參考價(jià)值的。當(dāng)然針對(duì)目前商業(yè)云計(jì)算解決方案存在的種種問(wèn)題,開源組織和學(xué)術(shù)界也紛紛提出了許多云計(jì)算系統(tǒng)或平臺(tái)方案。

云計(jì)算的關(guān)鍵技術(shù)

1、快速部署(Rapid Deployment)

自數(shù)據(jù)中心誕生以來(lái),快速部署就是一項(xiàng)重要的功能需求。數(shù)據(jù)中心管理員和用戶一直在追求更快、更高效、更靈活的部署方案。

首先,在云環(huán)境中資源和應(yīng)用不僅變化范圍大而且動(dòng)態(tài)性高。用戶所需的服務(wù)主要采用按需部署方式。其次,不同層次云計(jì)算環(huán)境中服務(wù)的部署模式是不一樣的。另外,部署過(guò)程所支持的軟件系統(tǒng)形式多樣,形同結(jié)構(gòu)各不相同,部署工具應(yīng)能適應(yīng)被部署對(duì)象的變化。

2、資源調(diào)度(Resource Dispatching)

資源調(diào)度是指在特定環(huán)境下根據(jù)一定的資源使用規(guī)則,在不同資源使用者之間進(jìn)行資源調(diào)整的過(guò)程。這些資源使用者對(duì)應(yīng)著不同的計(jì)算任務(wù),每個(gè)計(jì)算任務(wù)在操作系統(tǒng)中對(duì)應(yīng)著一個(gè)或多個(gè)進(jìn)程。虛擬機(jī)的出現(xiàn)使得所有的使得所有的計(jì)算任務(wù)都被封裝在一個(gè)虛擬機(jī)的內(nèi)部。

3、大規(guī)模數(shù)據(jù)處理(Massive Data Processing)

以互聯(lián)網(wǎng)為計(jì)算平臺(tái)的云計(jì)算會(huì)廣泛的涉及到大數(shù)據(jù)處理任務(wù)。由于大規(guī)模數(shù)據(jù)處理操作非常頻繁,很多研究者在從事支持大規(guī)模數(shù)據(jù)處理的編程模型方面的研究。當(dāng)今世界最流行的大規(guī)模數(shù)據(jù)處理的編程模型可以說(shuō)是有g(shù)oogle公司所設(shè)計(jì)的Map Reduce編程模型。Map Reduce編程模型將一個(gè)任務(wù)分成很多更細(xì)粒度的子任務(wù) ,這些子任務(wù)能夠在空閑的處理節(jié)點(diǎn)之間調(diào)度,使得處理速度越快的節(jié)點(diǎn)處理越多的任務(wù),從而避免處理速度慢的節(jié)點(diǎn)延長(zhǎng)整個(gè)任務(wù)的完成時(shí)間。

4、大規(guī)模消息通信(Massive Message Communication)

云計(jì)算的一個(gè)核心理念就是資源和軟件功能都是以服務(wù)的形式發(fā)布的,不同服務(wù)之間經(jīng)常需要進(jìn)行消息通信協(xié)作,因此,可靠、安全、高性能的通信基礎(chǔ)設(shè)施對(duì)于云計(jì)算的成功至關(guān)重要。異步消息通信機(jī)制可以使得云計(jì)算每個(gè)層次中的內(nèi)部組件之間及各個(gè)層次之間解耦合,并且保證云計(jì)算服務(wù)的高可用性。目前,云計(jì)算環(huán)境中的大規(guī)模數(shù)據(jù)通信技術(shù)仍舊處于發(fā)展階段。

5、大規(guī)模分布式存儲(chǔ)(Massive Distributed Storage)

分布式存儲(chǔ)要求存儲(chǔ)資源能夠被抽象表示和統(tǒng)一管理,并且能夠保證數(shù)據(jù)讀/寫操作的安全性,可靠性、性能等各方面的要求。分布式文件系統(tǒng)允許用戶像訪問(wèn)本地文件系統(tǒng)一樣訪問(wèn)遠(yuǎn)程服務(wù)器的文件系統(tǒng),用戶可以將自己的數(shù)據(jù)存儲(chǔ)在多個(gè)遠(yuǎn)程服務(wù)器上,分布式文件系統(tǒng)基本上都是冗余備份機(jī)制和容錯(cuò)機(jī)制。以保證數(shù)據(jù)讀/寫的正確性。云環(huán)境的存儲(chǔ)服務(wù)基于分布式文件系統(tǒng)并根據(jù)云存儲(chǔ)的特征做了相應(yīng)的配置和改進(jìn)。典型的分布式文件系統(tǒng)有Google公司設(shè)計(jì)的可伸縮的Google File System(GFS)。目前,在云計(jì)算環(huán)境下的大規(guī)模分布式存儲(chǔ)方面已經(jīng)有了一些研究成果和應(yīng)用。Google公司設(shè)計(jì)的用來(lái)存儲(chǔ)大規(guī)模結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)Big Table用來(lái)將網(wǎng)頁(yè)存儲(chǔ)成分布式的、多維的、有序的圖。

6、虛擬化技術(shù)(Virtualization)

虛擬化的核心理念是以透明的方式提供抽象的底層資源,這種抽象的底層資源,這種抽象的方法并不受地理位置或底層資源的物理位置所限。就技術(shù)本身而言,它并不是全新的事物,早在20世紀(jì)70年代就已經(jīng)在IBM的虛擬計(jì)算系統(tǒng)中得以應(yīng)用。隨著云計(jì)算的興起,虛擬化技術(shù)再次成為熱點(diǎn),究其原因主要在于:首先,計(jì)算機(jī)系統(tǒng)在功能變得日益強(qiáng)大的同時(shí),本身也越來(lái)越難以管理;其次,當(dāng)計(jì)算機(jī)系統(tǒng)發(fā)展到以用戶為核心的階段時(shí),人們更關(guān)心的是如何通過(guò)接口和服務(wù)來(lái)滿足更復(fù)雜多變的用戶要求。由于虛擬化技術(shù)能夠靈活組織多種計(jì)算機(jī)資源,解除上、下層資源的綁定和約束關(guān)系,提升資源使用率,發(fā)揮資源聚合效能。為用戶提供個(gè)性化和普通話的資源使用環(huán)境,因而得到高度重視。利用虛擬化技術(shù),能夠有效整合數(shù)據(jù)中心所有的硬件資源、虛擬服務(wù)器和其他基礎(chǔ)設(shè)施,并通過(guò)高效的管理和調(diào)度為上層應(yīng)用提供動(dòng)態(tài)、可伸縮、靈活的基礎(chǔ)設(shè)施平臺(tái),從而滿足云計(jì)算隨需擴(kuò)展、按需部署、即需即用的需求。不過(guò),各種虛擬化技術(shù)各有優(yōu)勢(shì)和不足。例如目前主流的半虛擬化技術(shù),其虛擬機(jī)管理帶來(lái)的CPU額外開銷較少,但內(nèi)存性能開銷較大,因此原有的CPU密集型應(yīng)用能夠較好地遷移到虛擬化平臺(tái)上來(lái),而內(nèi)存或I/O密集型應(yīng)用就會(huì)遇到較大的性能問(wèn)題。因此,如何融合各種虛擬化方法的優(yōu)勢(shì),按照應(yīng)用任務(wù)的需求,將各種資源進(jìn)行動(dòng)態(tài)共享和靈活配置,使計(jì)算系統(tǒng)具備按需構(gòu)建能力,都是云計(jì)算中需要深入研究的問(wèn)題。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)