我們每天聽到“數(shù)據(jù)”一詞的頻率突然高起來,如“大數(shù)據(jù)”、“數(shù)據(jù)經(jīng)濟(jì)”和“政府?dāng)?shù)據(jù)公開”等,“數(shù)據(jù)”與現(xiàn)代社會(huì)、與大家的日常生活越來越息息相關(guān)。
從“數(shù)字”、“數(shù)值”到“數(shù)據(jù)”
沒有計(jì)算機(jī)和信息技術(shù)的年代里,“數(shù)據(jù)”更多的是“數(shù)字”或“數(shù)值”,至多也就是用于統(tǒng)計(jì)的“數(shù)字”或“數(shù)值”。計(jì)算機(jī)問世初期,信息技術(shù)有了“數(shù)值計(jì)算”和“數(shù)據(jù)處理”的差別,只不過,“數(shù)值”通常指連續(xù)變化的物理量;而“數(shù)據(jù)處理”處理的是離散的一組組“數(shù)字”而已,“數(shù)據(jù)”仍然停留在統(tǒng)計(jì)應(yīng)用的水平。
隨著計(jì)算機(jī)和信息技術(shù)的普及和發(fā)展,互聯(lián)網(wǎng)的普及特別是移動(dòng)互聯(lián)網(wǎng)的普及,“數(shù)據(jù)”有了更多的內(nèi)涵和更廣外延,“數(shù)據(jù)”不再限于“數(shù)字”或“數(shù)值”,只要是計(jì)算機(jī)可以處理,“數(shù)據(jù)”可以是文本、語(yǔ)音、圖形、圖片、視頻和更多其他的形式。“金融數(shù)據(jù)”包括但不限于銀行交易、證券交易、外匯牌價(jià)和交易、信貸、資信、金融趨勢(shì)等。“醫(yī)療數(shù)據(jù)”包括但不限于病人癥狀、檢查結(jié)論、診斷、用藥、流行病、專家就診時(shí)間、醫(yī)療資源分布等。“教育數(shù)據(jù)”包括但不限于適齡學(xué)生數(shù)、課程計(jì)劃、成績(jī)、教育質(zhì)量、升學(xué)、就業(yè)等等。各種數(shù)據(jù),林林總總,不一而足。
曾記得,“數(shù)字化”風(fēng)靡一時(shí)??茖W(xué)家香農(nóng)在上個(gè)世紀(jì)40年代就提出了采樣定理,即對(duì)一個(gè)連續(xù)函數(shù),按給定間隔提取其值,就可以用一組離散的數(shù)字序列代表這個(gè)連續(xù)函數(shù),這就是數(shù)字化的重要基礎(chǔ)。“數(shù)字化”的另一個(gè)意思是“數(shù)字化標(biāo)示”,用一串?dāng)?shù)字來標(biāo)示一個(gè)客體。“數(shù)字化”目標(biāo)是數(shù)字計(jì)算機(jī)可以處理模擬信號(hào),也可以紀(jì)錄處理各種客體的“數(shù)字化標(biāo)示”,我們不能不說這是一場(chǎng)技術(shù)革命,只不過這個(gè)革命是一種工具(計(jì)算機(jī))或過程(計(jì)算機(jī)處理)的革命。“數(shù)據(jù)”就不同了,“數(shù)據(jù)”是現(xiàn)在信息社會(huì)的一個(gè)新生兒,它像石油和礦石,是一種新的原材料,可以用來加工、產(chǎn)生價(jià)值;它像農(nóng)具和機(jī)器,是一種新的生產(chǎn)資料,可以提高生產(chǎn)的效率;它像高速路和機(jī)場(chǎng),是一種新的基礎(chǔ)設(shè)施,投資和利用它可以改善經(jīng)濟(jì)和民生。
有創(chuàng)新企業(yè)的生產(chǎn)原材料就是“數(shù)據(jù)”,他們對(duì)這樣的原材料加工,生產(chǎn)去形形色色的“數(shù)據(jù)產(chǎn)品”,獲得受益,比如:加工過的病案數(shù)據(jù)對(duì)于醫(yī)藥企業(yè),加工過的點(diǎn)評(píng)數(shù)據(jù)對(duì)于餐飲企業(yè),加工過的人口流動(dòng)數(shù)據(jù)對(duì)于規(guī)劃部門。有些企業(yè)很好的利用了“數(shù)據(jù)”這種生產(chǎn)資料,通過收集分析用戶習(xí)慣“數(shù)據(jù)”,可以設(shè)計(jì)生產(chǎn)出更有人緣的產(chǎn)品,比如:世界知名的互聯(lián)網(wǎng)公司和手機(jī)公司都不斷在收集分析用戶使用習(xí)慣的“數(shù)據(jù)”,進(jìn)而改進(jìn)自己的產(chǎn)品,搜索服務(wù)提供商不停收集用戶的搜索關(guān)鍵詞,借以分析各種有價(jià)值的趨勢(shì)。也有不少地方開始關(guān)注對(duì)于“數(shù)據(jù)”基礎(chǔ)設(shè)施的投入,提高本地區(qū)的競(jìng)爭(zhēng)力,
有企業(yè)家說,鼠標(biāo)嫁給水泥,誕生的寶寶叫數(shù)據(jù)經(jīng)濟(jì)。
“大數(shù)據(jù)”并不僅僅是因?yàn)?ldquo;數(shù)據(jù)”量大
“大數(shù)據(jù)”極大的提升了“數(shù)據(jù)”一詞的使用頻率。多大是“大”?
其實(shí)歷史上“海量數(shù)據(jù)”被用過很長(zhǎng)時(shí)間,“海量數(shù)據(jù)”也是在說“數(shù)據(jù)”的規(guī)模,“大數(shù)據(jù)”也包含“數(shù)據(jù)”的規(guī)模,不同的是:“大數(shù)據(jù)”不僅關(guān)乎規(guī)模,同時(shí)還涉及數(shù)據(jù)的多樣性和復(fù)雜性,最關(guān)鍵的是用傳統(tǒng)的理論和方法都無法高效處理。
曾幾何時(shí),人民熟知的數(shù)據(jù)大小的單位,從位、K(千、10的3次方)、M(百萬、10的6次方)、G(十億、10的9次方)、到了T(兆、10的12次方)、P(千兆、10的15次方)、甚至E(百京、10的18次方)。《經(jīng)濟(jì)學(xué)人》期刊2010年2月出版的專輯“The data deluge(數(shù)據(jù)洪流)”中提到數(shù)據(jù)大小的單位E時(shí),不少專業(yè)人士也得上網(wǎng)查查,E到底是多大?
“大數(shù)據(jù)”與“數(shù)據(jù)”或“傳統(tǒng)數(shù)據(jù)”有規(guī)模上的不同,同時(shí)在收集方式上,特別是分析方法上有著根本的差別。搜索服務(wù)提供商不停收集用戶搜索關(guān)鍵字,用于分析各種趨勢(shì);社交網(wǎng)絡(luò)不停收集聊天主體,分析其中關(guān)鍵字和語(yǔ)義,判斷社會(huì)大眾心情;電商則通過售買數(shù)據(jù)解讀熱銷產(chǎn)品,這些和“傳統(tǒng)數(shù)據(jù)”或“小數(shù)據(jù)”的收集方式有明顯的差異。“傳統(tǒng)數(shù)據(jù)”的分析方法主要是統(tǒng)計(jì)和數(shù)據(jù)挖掘。“大數(shù)據(jù)”的加工與“傳統(tǒng)數(shù)據(jù)完全不同”:高度并發(fā)的數(shù)據(jù)采集、數(shù)據(jù)全集(而非抽樣)的處理、數(shù)據(jù)清洗等預(yù)處理,非結(jié)構(gòu)化數(shù)據(jù)的處理、語(yǔ)義分析、深度學(xué)習(xí)。正是由于采用了各種新的數(shù)據(jù)處理方法,“數(shù)據(jù)”才能成為“大數(shù)據(jù)”,“數(shù)據(jù)”才有價(jià)值,“數(shù)據(jù)”才能成為原材料、生產(chǎn)資料、基礎(chǔ)設(shè)施。
[page]2015年07月01日 06:00:00來源:光明網(wǎng)
數(shù)據(jù)的社會(huì)價(jià)值
當(dāng)“數(shù)據(jù)”不再只是“數(shù)字”和“數(shù)值”,當(dāng)“數(shù)據(jù)”成為了原材料、成了生產(chǎn)資料、成了基礎(chǔ)設(shè)施,我們顯然可以得出結(jié)論:現(xiàn)代社會(huì)“數(shù)據(jù)”無處不在。正是無處不在的計(jì)算、無處不在的網(wǎng)絡(luò)和無處不在的數(shù)據(jù)構(gòu)筑了信息社會(huì)的三個(gè)維度。
現(xiàn)在信息社會(huì)是信息技術(shù)的發(fā)展和普及帶來的,而信息技術(shù)的發(fā)展史,是信息技術(shù)核心不斷轉(zhuǎn)換的歷史,計(jì)算機(jī)剛剛問世時(shí),信息技術(shù)的核心是計(jì)算機(jī);隨著計(jì)算機(jī)越來越多,核心轉(zhuǎn)移到計(jì)算機(jī)的網(wǎng)絡(luò);有了網(wǎng)絡(luò),核心就轉(zhuǎn)移成為搜索,在互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)普及的今天,數(shù)據(jù)成為了信息技術(shù)的核心。
《自然》期刊2015年2月發(fā)表查爾斯 賽費(fèi)的文章說,“大數(shù)據(jù)”不僅帶來了商業(yè)和科學(xué)的革命,同時(shí)帶來了社會(huì)的變化,在過去的十年里,我們讓機(jī)器在我們生存的方方面面扮演者中間角色,我們和朋友交流、娛樂、駕駛、健身、看醫(yī)生、讀書,總有計(jì)算設(shè)備在那接收、發(fā)送數(shù)據(jù),是我們留下了朵朵巨大的數(shù)據(jù)云。
從司空見慣的日常生活到最尖端的科學(xué)研究,人類不斷在創(chuàng)造數(shù)據(jù),也不停地利用和享受著數(shù)據(jù)帶來的便利。
一個(gè)人早上起床通過智能手機(jī)上網(wǎng)看看天氣預(yù)報(bào),利用了數(shù)據(jù)、計(jì)算、和網(wǎng)絡(luò),通過電視節(jié)目來看天氣預(yù)報(bào)也是一樣,有專業(yè)人員收集天氣數(shù)據(jù)、分析天氣數(shù)據(jù)、得出數(shù)據(jù)預(yù)報(bào)結(jié)論,通過電視節(jié)目播出來。通過電商采購(gòu)日常用品越來越普及,一目了然的多種選擇,可供參考的用戶評(píng)價(jià),優(yōu)惠的價(jià)格,快速的物流和配送,方方面面都在利用數(shù)據(jù)、計(jì)算和網(wǎng)絡(luò)詮釋著便捷和高效,通過改變?nèi)藗兊南M(fèi)習(xí)慣來改變著人的生活方式。
電子郵件、短信、博客、微信和朋友圈是全新的人與人的交互方式,讓幾年前還常用的郵遞信件、電報(bào)、傳真變成歷史。
傳統(tǒng)的不同語(yǔ)言之間的互譯,多少年來都是語(yǔ)言學(xué)家編出字典,語(yǔ)言專家借助字典互譯,然而,數(shù)據(jù)改變了這樣的傳統(tǒng),谷歌公司利用“大數(shù)據(jù)”和統(tǒng)計(jì)的方法,通過對(duì)大量雙語(yǔ)文獻(xiàn)的收集和處理,為社會(huì)提供了71種語(yǔ)言的即時(shí)互譯,去年一年為大眾提供了達(dá)2億次的翻譯服務(wù)。這種翻譯可能還沒有達(dá)到語(yǔ)言學(xué)家的文學(xué)譯著那么優(yōu)雅,但是已經(jīng)服務(wù)于聯(lián)合國(guó)不同語(yǔ)種的文件翻譯。
歐洲核子研究組織(CERN)是全球最大的粒子物理學(xué)實(shí)驗(yàn)室和高能物理研究中心,取得了令人矚目的科學(xué)成就,它同時(shí)也是世界上第一個(gè)網(wǎng)站,第一個(gè)網(wǎng)絡(luò)服務(wù)器,第一個(gè)瀏覽器的誕生地。它的科學(xué)發(fā)現(xiàn)的基礎(chǔ)是其各種設(shè)備每天不停歇的接收和處理不可想象規(guī)模的數(shù)據(jù),每秒鐘要處理幾十TB的數(shù)據(jù)。
如果說工業(yè)1.0是蒸汽機(jī)帶來的機(jī)械化、工業(yè)2.0是電力帶來的電動(dòng)化、工業(yè)3.0是計(jì)算機(jī)帶來的自動(dòng)化,那工業(yè)4.0就是數(shù)據(jù)帶來的智能化。其最基本的理念是CPS(信息物理系統(tǒng)),簡(jiǎn)單說,就是用數(shù)據(jù)讓所有相關(guān)因素連接為一個(gè)系統(tǒng),包括訂單、原材料、生產(chǎn)設(shè)施、生產(chǎn)過程、倉(cāng)儲(chǔ)、物流、全球化等等,仔細(xì)分析工業(yè)4.0的核心特征,都與數(shù)據(jù)有密不可分的聯(lián)系。
[page]2015年07月01日 06:00:00來源:光明網(wǎng)
數(shù)據(jù)素養(yǎng)
“素養(yǎng)”可以看作是素質(zhì)和修養(yǎng),是人的思維方式、能力和價(jià)值觀?,F(xiàn)在社會(huì)人與物、人與人的交互愈加密切,人的素養(yǎng)就成為現(xiàn)在社會(huì)一個(gè)非常重要的關(guān)注點(diǎn),信息技術(shù)和“數(shù)據(jù)”的社會(huì)價(jià)值越來越高,當(dāng)然對(duì)現(xiàn)代社會(huì)的人的“數(shù)據(jù)”素養(yǎng)提到一個(gè)新的高度。
“數(shù)據(jù)素養(yǎng)”包括對(duì)數(shù)據(jù)的敏感性,數(shù)據(jù)收集、處理、分析、判斷和利用的能力,尊重?cái)?shù)據(jù)倫理、保證數(shù)據(jù)準(zhǔn)確、安全和隱私的修養(yǎng)。
“數(shù)據(jù)素養(yǎng)”不再限于對(duì)信息從業(yè)人員的要求,而變成了一種對(duì)全民、尤其是年輕一代的要求,顯然沒有人可以游離在信息社會(huì)之外。非常有意思的觀察是:給幼兒智能手機(jī)類似的物品,多數(shù)幼兒都會(huì)模仿大人,用手指在屏幕上劃來劃去,好像他們的家長(zhǎng)小時(shí)候更多是拿筆會(huì)畫一樣,這是認(rèn)知規(guī)律使然,從一個(gè)側(cè)面證明了數(shù)據(jù)素養(yǎng)是從很小年齡就可以開始訓(xùn)練和培養(yǎng)的。仍然存在的城鄉(xiāng)差異、地區(qū)差異、職業(yè)差異、教育程度差異等并沒有影響大眾一起接受智能手機(jī)、網(wǎng)絡(luò)電視、電商或“微信”,幾乎每個(gè)公民都有提高自身“數(shù)據(jù)素養(yǎng)”的需求。當(dāng)然這并不是要求非專業(yè)人員具備和專業(yè)人員同樣的技能,不同人群的“數(shù)據(jù)”技能是不同層次的,但是價(jià)值觀、倫理規(guī)范是同樣的,要判斷數(shù)據(jù)的真?zhèn)巍⒁WC數(shù)據(jù)的準(zhǔn)確、要關(guān)注數(shù)據(jù)的安全、要尊重他人的數(shù)據(jù)隱私等。
《科學(xué)》期刊2014年11月刊發(fā)費(fèi)雷德 凱特的文章,其中一個(gè)重要觀點(diǎn)是:隨著現(xiàn)代社會(huì)越來越“數(shù)據(jù)化”,如果我們依然完全依靠現(xiàn)在保護(hù)隱私的工具軟件,我們的隱私只會(huì)處于前所未有的危險(xiǎn)中。各種信息泄露。
《福布斯》期刊2015年1月5日?qǐng)?bào)道,摩根士丹利發(fā)現(xiàn)其大約900名財(cái)富管理客戶的賬戶名稱和賬戶號(hào)碼被泄露在公開網(wǎng)站上,盡管客戶賬戶密碼和社會(huì)安全號(hào)碼未被泄露,當(dāng)時(shí)也還沒有證據(jù)顯示任何客戶因此遭受經(jīng)濟(jì)損失,但是足以引起社會(huì)的高度關(guān)注?!堵吠干纭?015年5月13日?qǐng)?bào)道,“Uber(優(yōu)步打車)”大約5萬名司機(jī)的信息被未知第三方獲取,是一次大規(guī)模的信息泄露,該公司2014年9月在自身系統(tǒng)中發(fā)現(xiàn)一個(gè)漏洞,可讓外人在未經(jīng)授權(quán)情況下獲取部分司機(jī)的姓名和駕照號(hào)碼。雖然優(yōu)步未收到任何有關(guān)這些數(shù)據(jù)“已遭濫用的報(bào)告”,但是對(duì)于這樣敏感數(shù)據(jù)的大規(guī)模泄露還是暴露出快速發(fā)展的互聯(lián)網(wǎng)公司數(shù)據(jù)安全方面的風(fēng)險(xiǎn)。
《科學(xué)》期刊2014年3月14日發(fā)表大衛(wèi) 拉澤的文章,作者認(rèn)為:大數(shù)據(jù)集的分析是很復(fù)雜的,但是由于大數(shù)據(jù)的收集不一定有傳統(tǒng)小數(shù)據(jù)的收集過程那樣的縝密,難免出現(xiàn)失準(zhǔn)的情況,作者用谷歌流感趨勢(shì)(GFT)失準(zhǔn)作例子,指出了“大數(shù)據(jù)傲慢”是問題的根源,是大家應(yīng)該思考的問題。
谷歌認(rèn)為用戶搜索關(guān)鍵詞可以用來預(yù)測(cè)流感疫情的現(xiàn)狀,據(jù)此開發(fā)了谷歌流感趨勢(shì)(GFT),不過其結(jié)果與美國(guó)疾病預(yù)防控制中心的監(jiān)測(cè)報(bào)告相比對(duì),2013年2月,GFT預(yù)測(cè)的流感樣病例門診數(shù)超過了CDC根據(jù)全美各實(shí)驗(yàn)室監(jiān)測(cè)報(bào)告得出的預(yù)測(cè)結(jié)果的兩倍,顯然失準(zhǔn)。
在數(shù)據(jù)公開、數(shù)據(jù)交換、數(shù)據(jù)共享和數(shù)據(jù)利用成為大勢(shì)所趨時(shí),不論是政府機(jī)構(gòu)、企業(yè)還是個(gè)人,都在創(chuàng)造數(shù)據(jù)、管理數(shù)據(jù)和使用數(shù)據(jù),每個(gè)公民在這樣的過程中遵守法律和尊重倫理是最必不可少的素養(yǎng)。