6月3日,七屆中國云計算大會在京召開。作為大會的最后一天,5號上午中國大數(shù)據(jù)專家委員會副主任委員、中國工程院院士高文以“城市多媒體大數(shù)據(jù)高校存儲與處理技術”為主題,對多媒體大數(shù)據(jù)在智慧城市里面的存儲和處理有些什么瓶頸、需要做什么技術上的儲備和處理進行了進一步的分析。
智慧城市核心要義
“智能城市或者智慧城市并不是簡單的城市的信息化”,高文指出,以前城市的信息化大多數(shù)是領導先定下一個決策,有一個宏偉的規(guī)劃,然后按照前期響應的目標不斷逼近,但其實這個思路是錯的。就像人一樣,人更多的決策是反過來的,先對周圍環(huán)境有一個感知,經(jīng)過大腦的處理,最后決定這件事情要怎么做。所以現(xiàn)在的智慧城市或者智能城市應該按照和人比較類似的思路來進行管理和控制。
中國工程院院士高文
要想把智慧城市做好,高文舉了個通勤的案例。
99年建設的大型社區(qū)天通苑相信很多人都聽過,建設8平方公里,住90幾萬人,如此密集的區(qū)域很顯然會遇到交通問題,很容出現(xiàn)擁堵狀況。原來只知道擁堵,但究竟擁堵的具體位置區(qū)無法做到精確定位,所以只有一條地鐵線是天通苑通往CBD。
但是現(xiàn)在的大數(shù)據(jù)顯示,天通苑最主要的交通擁堵主要是天通苑最大的兩個目的地——上地和中關村,恰恰原來在軌道設計的時候從天通苑沒有到上地的直通車,上班族必須要換乘,此時這個設計就存在了問題。
難道不可以修一條直通車,從天通苑第一站停在上地,第二站停在中關村,這可以緩解20%的交通壓力?其實這是非常困難的事情,重新設計、建設軌道需要很長的一段時間,智慧城市遇到了很大的難題。
既然沒有辦法修一條直通軌道,那我們可以用其他的次優(yōu)、次次優(yōu)、基于大數(shù)據(jù)和數(shù)據(jù)挖掘的辦法辦法解決,包括很多數(shù)學工具,例如動態(tài)規(guī)劃、靜態(tài)規(guī)劃、免疫算法等,通過數(shù)據(jù)的輸入進行挖掘。盡管從根本上沒有辦法解決,但是作為工程技術可以找到行之有效的解決方案。
智慧城市大數(shù)據(jù)中心
把感知網(wǎng)絡所獲得的數(shù)據(jù)全部送到數(shù)據(jù)中心去,這件事并不難。但是到中心的數(shù)據(jù)怎樣形成決策,把海量的數(shù)據(jù)變成大數(shù)據(jù)這就需要有一個過程,高文認為這個過程里面最核心的要過三關,并不是海量數(shù)據(jù)就是大數(shù)據(jù),經(jīng)過整理可以使用的數(shù)據(jù)才叫大數(shù)據(jù),否則就是海量數(shù)據(jù)簡單的堆積。
形成能用的大數(shù)據(jù)有三關:
第一關,把所有搜集的數(shù)據(jù)存儲過來,一般最大的系統(tǒng)也就只能保存三個月,然后由于數(shù)據(jù)量過大被覆蓋掉。那么怎么樣讓它存得下,這是一個挑戰(zhàn),此時就需要一個辦法,要么將數(shù)據(jù)壓縮得很小,要么只是提取有用信息,廢棄掉無用的數(shù)據(jù)。
第二關,表達關。表達的關鍵是怎樣把特征提取出來,把存儲的數(shù)據(jù)進行特征的抽取、比對、分析。據(jù)高文介紹,在表達方面國內(nèi)很多團體已經(jīng)做很不錯,比如對于汽車的表達以及加強SIFT特征現(xiàn)在都具備了很先進的技術。用特征進行識別,通過在表達層面面進行壓縮,效率可能是幾千比一。
第三關,計算關。有了存儲,有了表達,進行場景的分析就形成了對決策的輔助。處理最核心的是數(shù)據(jù)的關聯(lián),因為傳感器的數(shù)據(jù)來自不同攝像頭、不同地點、不同的傳感器,怎么把時間、空間關聯(lián)到一個空間上是非常難的問題,如果關聯(lián)不準確的話后續(xù)會壓力非常大。
智慧城市的生態(tài)鏈有三個比較重要的部分,一個是傳感系統(tǒng),一個是大數(shù)據(jù)中心,還有一個決策環(huán)節(jié)。最關鍵的是決策形成的流程。高文強調(diào),必須要由政策的制定者、決策者基于大數(shù)據(jù)形成決策,最后形成智慧城市的管理模式,所以這一環(huán)怎么落實是很大的挑戰(zhàn)。他希望中國做大數(shù)據(jù)的人,能夠經(jīng)常把這個理念向管理者灌輸,使他們能夠?qū)Φ谌齻€環(huán)節(jié)更重視,使得大數(shù)據(jù)真正用好。