前段時(shí)間網(wǎng)絡(luò)上最火的當(dāng)屬柴靜的霧霾調(diào)查,近年來(lái)肆虐大江南北的霧霾引起了很多人對(duì)環(huán)保、對(duì)生活的思考。從主觀意識(shí)角度而言,個(gè)人少開(kāi)一天車(chē),企業(yè)降低污染排放,林區(qū)多種樹(shù)、少砍伐,政府建立相關(guān)告警和管理制度都會(huì)或多或少為環(huán)境出力。但要想真正的治理霧霾,必須制度化、法律化。什么情況下,工廠需要暫時(shí)停工,什么情況下,要減少木材的砍伐,并不能僅憑感覺(jué),這樣做未免任性。我們需要的是數(shù)據(jù)說(shuō)話。
大數(shù)據(jù)對(duì)于環(huán)保功不可沒(méi)
談起數(shù)據(jù)這個(gè)話題,又涉及到了另外一個(gè)熱詞,那就是“大數(shù)據(jù)”。很多企業(yè)和政府部門(mén)已經(jīng)搞了多年的信息化,并且認(rèn)識(shí)到了數(shù)據(jù)是企業(yè)的生命力。隨著多年的發(fā)展,企業(yè)的數(shù)據(jù)已經(jīng)足夠“大”,“大數(shù)據(jù)分析”這個(gè)詞也便有了實(shí)際意義。淘寶和京東等電商網(wǎng)站的商品推薦,大型超市將啤酒和紙尿褲放在一起的貨品擺放只是大數(shù)據(jù)的初級(jí)應(yīng)用。在環(huán)保領(lǐng)域,大數(shù)據(jù)分析也已經(jīng)深入其中。
我們國(guó)家環(huán)境保護(hù)部的官方網(wǎng)上2014年曾摘引過(guò)顧偉偉大數(shù)據(jù)與環(huán)保的相關(guān)文章。在云計(jì)算和互聯(lián)網(wǎng)的推動(dòng)下,環(huán)境相關(guān)數(shù)據(jù)林林總總,通過(guò)相關(guān)環(huán)保應(yīng)用,從這些數(shù)據(jù)中發(fā)現(xiàn)具有規(guī)律性、科學(xué)性和有價(jià)值的環(huán)境信息,建立環(huán)境數(shù)據(jù)中心,才能為環(huán)境部門(mén)的日常管理與科學(xué)研究做出貢獻(xiàn)。
對(duì)于環(huán)保而言,大數(shù)據(jù)能幫什么忙呢?預(yù)測(cè)性分析應(yīng)該是大數(shù)據(jù)的重要貢獻(xiàn),也就是從大數(shù)據(jù)中挖掘出獨(dú)有特點(diǎn),通過(guò)建立評(píng)估和預(yù)測(cè)預(yù)報(bào)模型,預(yù)測(cè)未來(lái)發(fā)展趨勢(shì)。其次,是精準(zhǔn)鎖定,實(shí)現(xiàn)對(duì)污染企業(yè)的有效鎖定。在污染源的生命周期過(guò)程中,每個(gè)節(jié)點(diǎn)所需要的每一類(lèi)數(shù)據(jù),都可以進(jìn)行搜集分析,形成基于污染源管理的數(shù)據(jù)資源分布可視圖。這就如同電子地圖一般,哪里有問(wèn)題,輕輕一點(diǎn)便知曉。另外,還可以通過(guò)采集社交信息數(shù)據(jù)、公眾互動(dòng)數(shù)據(jù)來(lái)提升環(huán)保部門(mén)對(duì)公眾的服務(wù)能力,為公眾提供更多便利。
大數(shù)據(jù)在環(huán)保方面的應(yīng)用已經(jīng)不僅僅處于理論論證階段。2014年4月,IEEE Spectrum Alert上發(fā)表過(guò)一篇文章,詳細(xì)介紹了一個(gè)將大數(shù)據(jù)用于環(huán)境保護(hù)的案例。簡(jiǎn)而言之就是開(kāi)發(fā)了一個(gè)森林映射工具,當(dāng)大片森林被砍伐、被破壞時(shí),對(duì)監(jiān)視者發(fā)出聲響警告。當(dāng)森林中一顆樹(shù)倒了,不但有一聲響,而且,計(jì)算機(jī)發(fā)出一個(gè)警告給研究人員和環(huán)境政策制定者。
這件事聽(tīng)起來(lái)輕松但做起來(lái)不易,要從雜亂無(wú)章的特殊格式的衛(wèi)星數(shù)據(jù)里找到那塊特定的森林,從圖像上識(shí)別剛倒塌的那顆樹(shù),又要實(shí)時(shí)地送給相關(guān)人士以警告,技術(shù)難點(diǎn)很多。從數(shù)據(jù)采集、數(shù)據(jù)集中、數(shù)據(jù)存儲(chǔ),再到數(shù)據(jù)分析和數(shù)據(jù)傳輸,每一步需要的都是高科技支持。
存儲(chǔ):做大數(shù)據(jù)分析的最佳支持者
談到數(shù)據(jù)分析,無(wú)論是數(shù)據(jù)庫(kù)采集、數(shù)據(jù)分析運(yùn)算都離不開(kāi)存儲(chǔ)。這是數(shù)據(jù)存儲(chǔ)在的場(chǎng)所,就像一個(gè)數(shù)據(jù)池子,要從中撈取合適的數(shù)據(jù)進(jìn)行計(jì)算分析,最終得出結(jié)論。
而說(shuō)到存儲(chǔ)對(duì)大數(shù)據(jù)的支持,傳統(tǒng)的數(shù)據(jù)存儲(chǔ)手段還是頗有障礙的。我們不妨到企業(yè)的數(shù)據(jù)中心中看看。經(jīng)歷了多年的發(fā)展,無(wú)論是何種類(lèi)型的企業(yè),包括環(huán)境保護(hù)中各個(gè)環(huán)節(jié)的相關(guān)單位,都會(huì)有一個(gè)難題,那就是數(shù)據(jù)分散和數(shù)據(jù)孤島問(wèn)題。由于組織內(nèi)部信息化進(jìn)程并不是同步的,各個(gè)部門(mén)又根據(jù)自身特點(diǎn),有特定的應(yīng)用。一個(gè)組織內(nèi)部有五六套系統(tǒng),各有自己的存儲(chǔ),不足為奇。
大數(shù)據(jù)分析要實(shí)現(xiàn)的第一步就是將這些數(shù)據(jù)集中起來(lái),從相關(guān)聯(lián)的數(shù)據(jù)中找到規(guī)律。此時(shí)我們面臨的難題是數(shù)據(jù)遷移和異構(gòu)存儲(chǔ)問(wèn)題。而解決辦法則是最近幾年談的最多的“軟件定義存儲(chǔ)”。從2013年EMC發(fā)布ViPR大力推廣軟件定義存儲(chǔ)概念到2015年初IBM推出IBM Spectrum揭開(kāi)軟件定義存儲(chǔ)2.0時(shí)代,軟件定義存儲(chǔ)已經(jīng)受到國(guó)內(nèi)外用戶(hù)的廣泛關(guān)注。調(diào)研機(jī)構(gòu)中橋國(guó)際針對(duì)軟件定義存儲(chǔ)市場(chǎng)需求的調(diào)研數(shù)據(jù)顯示,軟件定義存儲(chǔ)將快速成為用戶(hù)評(píng)估新存儲(chǔ)采購(gòu)的重要考核指標(biāo)之一。究其原因,企業(yè)用戶(hù)需要解決當(dāng)前面臨的異構(gòu)存儲(chǔ)難題。
中橋調(diào)研分析師表示,中國(guó)用戶(hù)希望的軟件定義存儲(chǔ),不僅要能夠跨異構(gòu)存儲(chǔ)資源,也要能跨各種云資源實(shí)現(xiàn)集中統(tǒng)一管理;不僅能提高異構(gòu)存儲(chǔ)資源的使用管理效率,也能最大限度提高混合云演進(jìn)過(guò)程中的業(yè)務(wù)連續(xù)性;不僅支撐x86 技術(shù),也能將小型機(jī)融入軟件定義存儲(chǔ)平臺(tái)。軟件定義存儲(chǔ)的真正價(jià)值是讓用戶(hù)能根據(jù)工作負(fù)載需求,動(dòng)態(tài)配置資源、智能監(jiān)控性能、流線型在線升級(jí)擴(kuò)展、細(xì)粒度化資源優(yōu)化,降低存儲(chǔ)配置、管理和運(yùn)維難度,優(yōu)化存儲(chǔ)生命周期的使用效率。
簡(jiǎn)而言之,用戶(hù)希望通過(guò)軟件定義存儲(chǔ)繼續(xù)發(fā)揮各時(shí)期采購(gòu)存儲(chǔ)的價(jià)值,同時(shí)實(shí)現(xiàn)數(shù)據(jù)的自由遷移。IBM在今年2月發(fā)布最新的軟件定義存儲(chǔ)平臺(tái)時(shí)表示,“其IBM Spectrum Storage和Spectrum Accelerate整合了IBM SVC成熟的互操作和跨平臺(tái)能力及XIV的智能、易管理(Zero-tuning)和企業(yè)級(jí)功能,同時(shí)整合了SoftLayer云資源和服務(wù)管理平臺(tái)。”
在實(shí)現(xiàn)了數(shù)據(jù)大集中之后,接下來(lái)便是大數(shù)據(jù)分析了。大數(shù)據(jù)分析一般分為“離線處理”和“實(shí)時(shí)處理”兩種模式,像上文提到的森林映射工具,顯然采用實(shí)時(shí)處理更有利于在第一時(shí)間獲得分析結(jié)果并發(fā)出響應(yīng)。根據(jù)摩爾定律,處理器和內(nèi)存的性能每18個(gè)月就會(huì)翻番。與多核處理器、虛擬化及不斷增長(zhǎng)的網(wǎng)絡(luò)速度相比,存儲(chǔ)性能顯然是拖了后腿。要在最快的時(shí)間將最準(zhǔn)確的數(shù)據(jù)傳給CPU,實(shí)現(xiàn)高IOPS,全閃存陣列是絕佳的選擇。另外,在數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用中,80%的訪問(wèn)都集中在數(shù)據(jù)倉(cāng)庫(kù)中20%的數(shù)據(jù)。如果將這頻繁訪問(wèn)的20%的數(shù)據(jù)置于全閃存陣列中,就能夠解決很多問(wèn)題。在存儲(chǔ)架構(gòu)加入新的全閃存陣列后,也可以通過(guò)軟件定義存儲(chǔ)進(jìn)行統(tǒng)一管理。
結(jié)語(yǔ)
環(huán)保是一個(gè)融合了政策、科技、管理為一體的話題,IT永遠(yuǎn)是環(huán)保最有利的支持體系。為了擺脫霧霾,重獲藍(lán)天,不但每個(gè)公民要身體力行,還需要精確的數(shù)據(jù)分析為法律法規(guī)做支撐。存儲(chǔ),作為大數(shù)據(jù)分析的后援團(tuán)隊(duì),更需要不斷升級(jí),以高性能、軟件定義等特性為數(shù)據(jù)高效管理作保證,為穹頂之下的藍(lán)天貢獻(xiàn)一份力量。