6月初,大理州劍川縣的劍湖單看像一片月牙,給人一種圓潤(rùn)的美感。加上被旁筆直的阡陌、錯(cuò)落的村莊以及綠油油的田野包圍,劍湖又好似一個(gè)正在孕育中的“寶寶”。

8月中旬,一片呈螺旋性旋轉(zhuǎn)的巨大云團(tuán)以每秒數(shù)十米的強(qiáng)風(fēng)速呈逆時(shí)針方向旋轉(zhuǎn)的同時(shí),又以每小時(shí)數(shù)十公里的運(yùn)行速度向我國(guó)沿海城市襲來……

這些遙感衛(wèi)星不僅能生動(dòng)形象地展示祖國(guó)的秀麗河山還能監(jiān)測(cè)臺(tái)風(fēng)。當(dāng)然,遙感衛(wèi)星的作用遠(yuǎn)不止于此:天氣預(yù)報(bào)、國(guó)防建設(shè)、城市規(guī)劃、森林火災(zāi)監(jiān)測(cè)、洪澇災(zāi)害監(jiān)測(cè)等也是遙感衛(wèi)星的重要應(yīng)用領(lǐng)域,國(guó)內(nèi)某衛(wèi)星單位幾十年如一日的做著這些事情,為我國(guó)的經(jīng)濟(jì)建設(shè)和社會(huì)發(fā)展作出了重要貢獻(xiàn)。

國(guó)內(nèi)某衛(wèi)星單位成立于1991年,承擔(dān)著我國(guó)對(duì)地觀測(cè)衛(wèi)星數(shù)據(jù)處理、存檔、分發(fā)和服務(wù)設(shè)施建設(shè)與運(yùn)行管理。例如,在礦產(chǎn)勘察工作中,該單位通過遙感圖像數(shù)據(jù)收集、數(shù)據(jù)預(yù)處理、信息提取、遙感異常圈定和遙感地質(zhì)編圖等處理步驟,實(shí)現(xiàn)礦場(chǎng)資源預(yù)測(cè)評(píng)價(jià)。

經(jīng)過多年發(fā)展,該單位的衛(wèi)星系統(tǒng)已經(jīng)從過去單一類型的衛(wèi)星轉(zhuǎn)變?yōu)楝F(xiàn)在的陸地觀測(cè)和高分系列衛(wèi)星,業(yè)務(wù)范圍也從過去只專注于國(guó)內(nèi)需求,轉(zhuǎn)向國(guó)內(nèi)和國(guó)際。迄今為止,該單位運(yùn)行管理著資源系列、環(huán)境減災(zāi)系列、高分系列等十余顆衛(wèi)星;有將近3000個(gè)法人單位,1萬多個(gè)注冊(cè)用戶。截至目前,該單位分發(fā)的數(shù)據(jù)量已超過1000萬件,已經(jīng)成為國(guó)家陸地、氣象、海洋三大衛(wèi)星數(shù)據(jù)中心之一。

海量數(shù)據(jù)的存儲(chǔ)、檢索、分發(fā)是難題

遙感衛(wèi)星收集的影像數(shù)據(jù),需要在地面進(jìn)行集中處理和分發(fā)。2005年,該單位的數(shù)據(jù)處理系統(tǒng)主要有三個(gè),即:CBERS衛(wèi)星實(shí)驗(yàn)系統(tǒng)用戶服務(wù)分系統(tǒng)、CBERS-02B衛(wèi)星用戶服務(wù)分系統(tǒng)和全國(guó)陸地觀測(cè)衛(wèi)星數(shù)據(jù)分發(fā)分系統(tǒng)。海量的數(shù)據(jù)需要高效的地面數(shù)據(jù)處理系統(tǒng)。2011年,該單位在資源三號(hào)衛(wèi)星和資源02C衛(wèi)星地面系統(tǒng)建設(shè)時(shí),將上述所有分系統(tǒng)數(shù)據(jù)進(jìn)行了整合,建成了統(tǒng)一對(duì)外服務(wù)的數(shù)據(jù)分發(fā)服務(wù)分系統(tǒng)。

以往的影像數(shù)據(jù)是對(duì)歷史真實(shí)、客觀的記錄,隨著時(shí)間推移會(huì)越來越珍貴,需要永久留存,而多顆衛(wèi)星同時(shí)運(yùn)作,需要存檔的數(shù)據(jù)就會(huì)越來越多。據(jù)統(tǒng)計(jì),2015年9月,該單位衛(wèi)星的在線數(shù)據(jù)存儲(chǔ)達(dá)到了10拍,這些衛(wèi)星每天還會(huì)產(chǎn)生超過10太的數(shù)據(jù)需要存儲(chǔ)。

當(dāng)前對(duì)地觀測(cè)衛(wèi)星的主要特點(diǎn)表現(xiàn)在高空間分辨率、高光譜分辨率、回訪周期短、影像條帶寬、立體成像能力和多種成像模式等方面,越來越多的不同平臺(tái)搭載的觀測(cè)傳感器使得人們可以獲得近乎連續(xù)高維度數(shù)據(jù),這種信息采集的爆炸式增長(zhǎng)給分發(fā)服務(wù)系統(tǒng)帶來了巨大的壓力,該系統(tǒng)逐漸暴露出了效率和服務(wù)等各種問題,而且隨著新型載荷不斷發(fā)展,對(duì)分發(fā)服務(wù)的服務(wù)模式也提出了更多要求。

為了更好地開展對(duì)海量數(shù)據(jù)的大數(shù)據(jù)分析與挖掘,該單位想在私有云上使用搜索引擎和數(shù)據(jù)庫(kù)等應(yīng)用。部署的時(shí)候,IT團(tuán)隊(duì)發(fā)現(xiàn),這些應(yīng)用與原有的虛擬化環(huán)境并不能很好的兼容,要解決這個(gè)問題需要對(duì)現(xiàn)有的虛擬化云平臺(tái)以及裸機(jī)平臺(tái)進(jìn)行統(tǒng)一的資源管理,營(yíng)造一個(gè)隨時(shí)、隨需的申請(qǐng)和使用存儲(chǔ)、計(jì)算資源的云實(shí)施環(huán)境。

基于Animbus打造“即申即用”的云環(huán)境

為此,該單位早前就采用了九州云Animbus平臺(tái),該平臺(tái)基于OpenStack、Ceph、外接EMC商業(yè)存儲(chǔ)為其構(gòu)建了一個(gè)內(nèi)部OpenStack私有云平臺(tái)。私有云平臺(tái)對(duì)現(xiàn)有的網(wǎng)絡(luò)交換機(jī)、X86服務(wù)器、Isilon存儲(chǔ)等硬件資源進(jìn)行了集成,軟件層面則提供前臺(tái)門戶、虛機(jī)定制、流程審批、分布式存儲(chǔ)和對(duì)象存儲(chǔ)等功能。具體如下圖所示:

私有云平臺(tái)的搭建,一方面實(shí)現(xiàn)了異構(gòu)資源統(tǒng)一納管,兼顧傳統(tǒng)網(wǎng)絡(luò)和云網(wǎng)絡(luò)的無縫對(duì)接、平滑過渡和統(tǒng)一管理,幫助該單位減小了云平臺(tái)的運(yùn)維難度;另一方面,該單位已經(jīng)形成了基于專線、電子政務(wù)網(wǎng)和互聯(lián)網(wǎng)“三網(wǎng)合一”的不同層次、多類用戶的數(shù)據(jù)分發(fā)體系,該平臺(tái)的使用也實(shí)現(xiàn)了資源實(shí)時(shí)推送管理分發(fā),為信息共享提供了數(shù)據(jù)保障。具體效果如下:

專線:與國(guó)土資源部、環(huán)境保護(hù)部、水利部、住建部、減災(zāi)委、交通部等國(guó)家部委建設(shè)了21條專線,實(shí)現(xiàn)了數(shù)據(jù)的自動(dòng)推送服務(wù);

電子政務(wù)網(wǎng):覆蓋范圍擴(kuò)展到京內(nèi)85家部委行業(yè)用戶以及京外31個(gè)省、自治區(qū)、直轄市和新疆建設(shè)兵團(tuán);

互聯(lián)網(wǎng):所有互聯(lián)網(wǎng)連接的用戶都可通過互聯(lián)網(wǎng)方便快捷地獲得數(shù)據(jù)。

擴(kuò)容升級(jí),讓遙感衛(wèi)星數(shù)據(jù)更好地“落地”

然而隨著時(shí)間的推移,遙感衛(wèi)星存儲(chǔ)的數(shù)據(jù)越來越多,該單位用戶的需求也越來越多元化,原有的資源和性能已經(jīng)無法滿足業(yè)務(wù)增長(zhǎng)的需要,分發(fā)系統(tǒng)的擴(kuò)容已經(jīng)迫在眉睫。為了使遙感衛(wèi)星數(shù)據(jù)能夠高效、便捷、穩(wěn)定的為廣大互聯(lián)網(wǎng)用戶和其他企業(yè)用戶提供更好的服務(wù),2019年,該單位聯(lián)合九州云對(duì)分發(fā)服務(wù)系統(tǒng)云服務(wù)進(jìn)行了升級(jí)改造,具體包括分發(fā)服務(wù)分系統(tǒng)虛擬化平臺(tái)、Hadoop分布式計(jì)算集群和在線數(shù)據(jù)分布式云存儲(chǔ)系統(tǒng)。

九州云對(duì)上述需求進(jìn)行了綜合考慮后,決定采用軟件定義數(shù)據(jù)中心技術(shù),充分利用該單位原有的硬件計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)設(shè)備進(jìn)行分別擴(kuò)展,保證靈活、高效的同時(shí),又不被存儲(chǔ)和網(wǎng)絡(luò)廠商鎖定。

在硬件的利舊上,保留原有分發(fā)系統(tǒng)、內(nèi)網(wǎng)、外網(wǎng)以及安全等設(shè)備,原有設(shè)備連接到華三的千兆核心交換上,九州云虛擬化平臺(tái),包括服務(wù)器和集中存儲(chǔ)連接到四個(gè)萬兆交換機(jī)上。華三核心交換機(jī)和新的萬兆交換機(jī)通過萬兆線路連接。

這樣一來,既保留了原有的功能,又保障了新增功能的網(wǎng)絡(luò)帶寬。同時(shí)多線路冗余也為系統(tǒng)提供了更高級(jí)別的系統(tǒng)高可用性,九州云從底層網(wǎng)絡(luò)架構(gòu)到上層應(yīng)用都做了相應(yīng)的規(guī)劃,全面保障業(yè)務(wù)的持久性。

在網(wǎng)絡(luò)規(guī)劃中,九州云充分利用千兆/萬兆/4萬兆的通信速率,提供盡可能低的收斂比,保障流暢的虛機(jī)間通信和服務(wù)訪問。連接示意圖如下:

在升級(jí)擴(kuò)展過程中,為保障業(yè)務(wù)的連續(xù)性,該單位使用九州云Animbus 云平臺(tái)統(tǒng)一納管新舊業(yè)務(wù),建立統(tǒng)一的主機(jī)、集群、虛擬機(jī)、存儲(chǔ)、網(wǎng)路和數(shù)據(jù)監(jiān)控管理平臺(tái)。同時(shí)傳統(tǒng)業(yè)務(wù)和數(shù)據(jù)也將轉(zhuǎn)移至新集群,完成全面的業(yè)務(wù)整合升級(jí)。此外,九州云還利用 Animbus Ironic組件,將裸機(jī)資源也一并進(jìn)行管理,結(jié)合VMware納管功能,建設(shè)統(tǒng)一的綜合云平臺(tái),方便客戶在一個(gè)平臺(tái)上管控多種資源。

在大數(shù)據(jù)分析業(yè)務(wù)方面,九州云使用了Sahara組件,Sahara旨在幫助客戶能夠在Openstack平臺(tái)上創(chuàng)建和管理Hadoop以及其他計(jì)算框架集群,實(shí)現(xiàn)類似AWS的EMR服務(wù)。該單位只需要提供簡(jiǎn)單的參數(shù),如版本信息、集群拓?fù)洹⒐?jié)點(diǎn)硬件信息等,利用Sahara服務(wù)能夠在數(shù)分鐘時(shí)間內(nèi)快速地部署Hadoop、Spark、Storm集群。

助力客戶服務(wù)全球

此番,九州云聯(lián)合該單位共同突破了多項(xiàng)技術(shù)難關(guān),實(shí)現(xiàn)了多項(xiàng)技術(shù)管理創(chuàng)新。升級(jí)擴(kuò)容完成之后,該單位的私有云平臺(tái)支持一鍵創(chuàng)建Hadoop分布式計(jì)算集群,將Hadoop部署在虛擬化環(huán)境中,實(shí)現(xiàn)了可靠的和性能優(yōu)化的虛擬化Hadoop集群。在Hadoop集群基礎(chǔ)之上,能開發(fā)基于Spack的用戶查詢條件統(tǒng)計(jì)分析功能,從而統(tǒng)計(jì)出用戶查詢位置信息的頻度數(shù)據(jù)和每天查詢訂購(gòu)的峰值信息。

在分發(fā)系統(tǒng)中,由于對(duì)象存儲(chǔ)是最為關(guān)鍵的一部分,九州云對(duì)整個(gè)云存儲(chǔ)系統(tǒng)架構(gòu)做了特別規(guī)劃:系統(tǒng)采用雙存儲(chǔ)策略,使用9臺(tái)服務(wù)器和一套ECM Isilon存儲(chǔ)搭建了一個(gè)Ceph分布式存儲(chǔ)集群,配置存儲(chǔ)策略使EMC Isilon和基于服務(wù)器的分布式存儲(chǔ)方案兩者共存于同一個(gè)存儲(chǔ)集群之中,各節(jié)點(diǎn)通過2個(gè)H3C交換機(jī),2個(gè)Mellonix萬兆交換機(jī)相連,交換機(jī)系統(tǒng)內(nèi)部互聯(lián)。

存儲(chǔ)系統(tǒng)采用完全對(duì)稱、面向資源的分布式系統(tǒng)架構(gòu)設(shè)計(jì)無中心節(jié)點(diǎn),所有部分都可擴(kuò)展,避免了因單點(diǎn)失效而擴(kuò)散并影響整個(gè)系統(tǒng)運(yùn)轉(zhuǎn)。通信方式采用非阻塞式I/O模式,提高了系統(tǒng)吞吐和響應(yīng)能力,以滿足實(shí)際使用中的性能問題。云存儲(chǔ)提供了標(biāo)準(zhǔn)API、認(rèn)證服務(wù)、賬戶服務(wù)、對(duì)象服務(wù)和審計(jì)服務(wù),全面覆蓋了整個(gè)對(duì)象存儲(chǔ)的使用、管理和監(jiān)控。

九州云通過對(duì)該單位已有硬件資源進(jìn)行體系結(jié)構(gòu)設(shè)計(jì)、硬件資源分配和網(wǎng)絡(luò)設(shè)計(jì),保證了其云存儲(chǔ)環(huán)境正常運(yùn)行的同時(shí),完成了容量超400T的在線數(shù)據(jù)分布式云存儲(chǔ)系統(tǒng)的擴(kuò)容。對(duì)內(nèi),給該單位提供了對(duì)象存儲(chǔ)的標(biāo)準(zhǔn)API操作接口;對(duì)外,該單位的用戶可以通過分發(fā)服務(wù)系統(tǒng)下載近期產(chǎn)品數(shù)據(jù)。

一直以來,該單位都積極貫徹落實(shí)國(guó)家關(guān)于陸地觀測(cè)衛(wèi)星發(fā)展的戰(zhàn)略部署,該單位的主任曾表示,農(nóng)、林、水、土、城、環(huán)、災(zāi)等各應(yīng)用行業(yè)都離不開衛(wèi)星數(shù)據(jù)的支持。接下來,在該單位聯(lián)合九州云打造的私有云平臺(tái)基礎(chǔ)上,前者將為全國(guó)用戶提供三千余萬衛(wèi)星數(shù)據(jù)產(chǎn)品,廣泛應(yīng)用于我國(guó)農(nóng)業(yè)、林業(yè)、水利、國(guó)土資源、城市規(guī)劃、環(huán)境保護(hù)、災(zāi)害監(jiān)測(cè)和國(guó)防建設(shè)等眾多領(lǐng)域,創(chuàng)造出更多的經(jīng)濟(jì)效益和社會(huì)價(jià)值。

如今,我國(guó)的遙感服務(wù)早已走出國(guó)門,成為“全球民用陸地觀測(cè)衛(wèi)星在軌數(shù)量最多的國(guó)家級(jí)遙感衛(wèi)星數(shù)據(jù)中心”是該單位的發(fā)展目標(biāo)。未來,該單位將繼續(xù)擴(kuò)大國(guó)際層面的合作,為其他有需要的國(guó)家提供遙感數(shù)據(jù)服務(wù)。