大數(shù)據(jù)的九個(gè)大教訓(xùn)

責(zé)任編輯:editor004

2014-05-06 10:57:06

摘自:OpenDataNow

昨天和今天我參加了俄亥俄州立大學(xué)的“大數(shù)據(jù)未來(lái)研討會(huì)”。RayHarishankar是這樣說(shuō)的:“數(shù)據(jù)加上分析是信息,信息加上語(yǔ)境可以提供洞察力,洞察力必定能導(dǎo)向正確的行動(dòng),正確的行動(dòng)則帶來(lái)提升價(jià)值的結(jié)果”。

昨天和今天我參加了俄亥俄州立大學(xué)的“大數(shù)據(jù)未來(lái)研討會(huì)”。俄亥俄州正在與IBM公司合作在當(dāng)?shù)貏?chuàng)建一個(gè)大數(shù)據(jù)中心,逐漸成為該領(lǐng)域的一個(gè)重要學(xué)術(shù)力量。本次研討會(huì)匯聚了來(lái)自全國(guó)各地的專家和一名來(lái)自英國(guó)的專家,就該領(lǐng)域當(dāng)前的成就、趨勢(shì)和話題進(jìn)行一次卓有成效的探討。很遺憾我沒(méi)能參加今天下午的展示會(huì),但大家可以在會(huì)議官網(wǎng)和即將出版的《信息社會(huì)的法律和政策》雜志(AJournalofLawandPolicyfortheInformationSociety)上了解更多詳情。

大數(shù)據(jù)和開放數(shù)據(jù)不是一回事,但他們有著密切的聯(lián)系(正如我在主題發(fā)言稿“未來(lái)的大數(shù)據(jù)將會(huì)開放到什么程度?”上寫到的)。我們正在關(guān)注的大數(shù)據(jù)一些趨勢(shì)和話題與開放數(shù)據(jù)也有關(guān)系。按照這樣的脈絡(luò),就出爐了這篇我在去哥倫布的路上學(xué)到的《了解大數(shù)據(jù)的九件事》。在研討會(huì)的官網(wǎng)上可以看到我用黑體標(biāo)注的人們的名字。

為大數(shù)據(jù)的激烈反應(yīng)做好準(zhǔn)備。很多演講者提到了“大數(shù)據(jù)過(guò)分渲染宣傳”的話題,認(rèn)為大數(shù)據(jù)被討論得如此熱烈,以至于我們現(xiàn)在可以進(jìn)入一個(gè)反應(yīng)性的循環(huán)。MikeNelson對(duì)他在公開場(chǎng)合看到的逐漸出現(xiàn)的“垃圾數(shù)據(jù)”提出了責(zé)難,甚至建議我們應(yīng)該重新命名大數(shù)據(jù),它可以有一個(gè)“大兄弟”–就像很多人一樣。他建議改名為:BFFMUDD,是大(Big)、肥(Fat)、快(Fast)、亂(Messy)、非結(jié)構(gòu)化(Unstructured)、分布式數(shù)據(jù)(DistributedData)的縮寫。

意識(shí)到“大數(shù)據(jù)的狂妄自大”。好幾位演講者引用了一份新報(bào)告,報(bào)告顯示,“Google流感趨勢(shì)”–大數(shù)據(jù)預(yù)測(cè)價(jià)值的首批大范例之一–被證明非常不準(zhǔn)確。顯然,Google可能自作聰明地以一種錯(cuò)誤的方式調(diào)整了其算法。不管什么樣的錯(cuò)誤,這都是個(gè)教訓(xùn),表明如果不著眼于更廣闊的圖景,而只是試圖通過(guò)碾碎數(shù)據(jù)來(lái)發(fā)現(xiàn)真相,通常情況下無(wú)法獲得預(yù)期效果。

數(shù)據(jù)不能代替判斷。數(shù)據(jù),尤其大數(shù)據(jù)是可以幫助人類做出決策的工具,但不能起到代替的作用。RayHarishankar是這樣說(shuō)的:“數(shù)據(jù)加上分析是信息,信息加上語(yǔ)境可以提供洞察力,洞察力必定能導(dǎo)向正確的行動(dòng),正確的行動(dòng)則帶來(lái)提升價(jià)值的結(jié)果”。

相關(guān)關(guān)系不能強(qiáng)過(guò)理論。一些大數(shù)據(jù)的倡導(dǎo)者認(rèn)為大數(shù)據(jù)幾乎讓理論變得多余:他們說(shuō),有了足夠的數(shù)據(jù),即使沒(méi)有理論說(shuō)明其原因,我們也可以發(fā)現(xiàn)很多重要和有益的模式和趨勢(shì)。確實(shí),簡(jiǎn)單的相關(guān)關(guān)系在一定程度上就可以驅(qū)動(dòng)精確的預(yù)測(cè)。但即便是具備預(yù)測(cè)分析的能力,也并不意味著你就能真正地理解你正在研習(xí)的系統(tǒng)是如何運(yùn)行的。EytanAdar建議我們審視大數(shù)據(jù)范圍從預(yù)測(cè)性到解釋性的所有相關(guān)努力,并且更多地關(guān)注如何理解我們所看到的東西,而不是僅僅關(guān)注可預(yù)測(cè)未來(lái)的模式。

大數(shù)據(jù)正在-冒著風(fēng)險(xiǎn)–追蹤一個(gè)“移動(dòng)” 社會(huì)。在全球范圍,移動(dòng)設(shè)備都已經(jīng)成為人類的首選在線連接工具。FarnamJahanian指出到2015年全球移動(dòng)設(shè)備的數(shù)量將是人口數(shù)量的兩倍,所有的設(shè)備都可以發(fā)送位置信息和其它數(shù)據(jù)給能夠收集這些數(shù)據(jù)的公司。這將成為未來(lái)社會(huì)大數(shù)據(jù)的主要來(lái)源之一。但KateCrawford?指出了這里的隱私風(fēng)險(xiǎn):由于人類移動(dòng)行為模式的獨(dú)特性,你可以僅用3-4個(gè)手機(jī)生成的數(shù)據(jù)點(diǎn)就能識(shí)別一個(gè)人。

大數(shù)據(jù)能幫助–或者損害城市的民主體制。正如HarveyMiller所說(shuō),通過(guò)手機(jī)數(shù)據(jù)、遠(yuǎn)程環(huán)境感應(yīng)器、激光生成的航空地圖和更多工具來(lái)追蹤城市活動(dòng)的能力,可以給我們創(chuàng)造擁有更高代謝功能的超級(jí)協(xié)調(diào)城市。(遺憾的是,我不得不在MichaelBatty關(guān)于城市分析的主題演講之前離開,不過(guò)他在個(gè)人網(wǎng)站上提供了演講內(nèi)容)但是,KateCrawford在這里再次提出了警告。如果我們不小心,城市數(shù)據(jù)收集就會(huì)不對(duì)稱地幫助富人而傷害窮人。比如,波士頓的StreetBumpAPP應(yīng)用通過(guò)追蹤智能手機(jī)的擺動(dòng)狀態(tài)來(lái)收集坑洼里的數(shù)據(jù),用志愿者的數(shù)據(jù)來(lái)反映一條道路的顛簸不平。但大多數(shù)智能手機(jī)的擁有者都屬于生活富裕的人群,以至于最初是在更富有的地區(qū)監(jiān)測(cè)和修復(fù)坑洼–這是StreetBump目前正在致力于修正的難題。在相反的另一面,“預(yù)測(cè)監(jiān)控”正在被用于將警察管制實(shí)施于預(yù)測(cè)將會(huì)有高犯罪率的地區(qū),這將導(dǎo)致歧視性的執(zhí)法。

隱私仍然事關(guān)要緊。忘掉那些宣稱公眾,尤其是年輕人已經(jīng)放棄隱私的報(bào)告吧。我們?nèi)匀魂P(guān)心隱私問(wèn)題,只是不知道該怎么做。這里有兩個(gè)考慮因素:我們想知道政府機(jī)構(gòu)或數(shù)據(jù)跟蹤公司收集到了哪些關(guān)于我們的數(shù)據(jù)信息,以及如果我們不喜歡,則想讓他們停止收集。關(guān)于如何解決這些考慮因素還不是很清晰。會(huì)上的一些發(fā)言者建議采用簡(jiǎn)單的解決方案:讓政府和公司對(duì)它們正在收集的數(shù)據(jù)更公開透明,這是一些人稱之為“互相確認(rèn)的公開”的方法。但是一個(gè)長(zhǎng)期的透明度倡導(dǎo)者GaryBass說(shuō),這個(gè)建議的解決方案“不是真實(shí)的世界。在過(guò)去的30年里,我拼命地斗爭(zhēng)讓數(shù)據(jù)變得可獲取,而政府和公司則拼命地讓數(shù)據(jù)不可獲取……這是一場(chǎng)曠日持久的斗爭(zhēng)”。正如其他人所說(shuō),這里的風(fēng)險(xiǎn)在于我們可能增強(qiáng)了數(shù)據(jù)收集者和被收集者之間的力量不對(duì)稱性。

大數(shù)據(jù)應(yīng)當(dāng)展現(xiàn)數(shù)據(jù)之美。數(shù)據(jù)可視化方面的迅速進(jìn)步正在創(chuàng)造一些美輪美奐的效果。比如,看一看這部“體驗(yàn)自行車人流”的視頻,逐漸解析倫敦自行車交通的數(shù)據(jù),展示俄亥俄州超級(jí)計(jì)算機(jī)中心最清晰的模式和部分已經(jīng)完成的可視化作品。類似這樣的數(shù)據(jù)可視化并不僅僅關(guān)乎美學(xué),而是與理解息息相關(guān)。IBM公司的一位數(shù)據(jù)可視化專家AngelaShen-Hsieh談到人們需要使數(shù)據(jù)更加“適合人類消費(fèi)”,以及關(guān)注從計(jì)算機(jī)屏幕到人腦的信息傳遞旅程中的“最后18英寸”。

大數(shù)據(jù)將(很有可能)產(chǎn)生大價(jià)值。拋開所有的警告不管,大數(shù)據(jù)中有很多社會(huì)價(jià)值和經(jīng)濟(jì)價(jià)值可以發(fā)掘。麥肯錫幾年前一份具有里程碑意義的大數(shù)據(jù)報(bào)告預(yù)測(cè)它將撬動(dòng)數(shù)萬(wàn)億美元的經(jīng)濟(jì)價(jià)值。這項(xiàng)研究的聯(lián)合作者,微軟公司的AngelaByers?今天說(shuō)到,也許仍需要5-10年時(shí)間才能產(chǎn)生這樣的價(jià)值,部分原因是我們?nèi)匀幻媾R一個(gè)重要的技能鴻溝:即可獲得的數(shù)據(jù)數(shù)量和清楚如何利用這些數(shù)據(jù)的人的數(shù)量之間存在的差距。但是經(jīng)濟(jì)價(jià)值正在逐步顯現(xiàn),并且以某種令人驚異的方式呈現(xiàn)。JohanBollen和他的團(tuán)隊(duì)成員運(yùn)用Twitter上的大數(shù)據(jù)情感分析來(lái)預(yù)測(cè)股票市場(chǎng):他們計(jì)算Twitter上的“鎮(zhèn)靜”情緒來(lái)預(yù)測(cè)道瓊斯指數(shù)三天后的收盤點(diǎn)位。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)