輿情大數(shù)據(jù)是把雙刃劍 決策者需慎重使用

責(zé)任編輯:editor007

作者:羅家德

2015-04-15 17:19:14

摘自:晨安傳媒

大數(shù)據(jù)當(dāng)然很有用,最明顯的就是茫茫網(wǎng)海中找一個(gè)人或一小群人,“人肉”的威力我不再贅述了。不作推論大數(shù)據(jù)有時(shí)沒用,但一推論就可能掉入很多誤區(qū),決策者基于錯(cuò)誤的知識(shí)作決策,會(huì)帶來十分嚴(yán)重的后果。

近兩年大數(shù)據(jù)真的很熱,但一個(gè)過熱的現(xiàn)象就一定會(huì)有很多誤區(qū),很多人看了是網(wǎng)上海量數(shù)據(jù)“淘”出來的分析就認(rèn)定了是“真理”,深信不疑,其實(shí)這里頭很可能埋伏了誤區(qū),使用不慎會(huì)誤導(dǎo)決策。

那里大數(shù)據(jù)能作什么?不能作什么?基于過去六年參予的相關(guān)項(xiàng)目及和計(jì)算機(jī)學(xué)界合作的經(jīng)驗(yàn),我有一個(gè)初步的看法。

大數(shù)據(jù)當(dāng)然很有用,最明顯的就是茫茫網(wǎng)海中找一個(gè)人或一小群人,“人肉”的威力我不再贅述了。

其次,我想找一個(gè)商機(jī),如果在大數(shù)據(jù)中挖出一百萬人表達(dá)對(duì)某一“產(chǎn)品”的關(guān)注,這絕對(duì)會(huì)有足夠的消費(fèi)者,讓產(chǎn)品賺錢,所以大數(shù)據(jù)的商業(yè)應(yīng)用前景十分光明。

再來,如果只是描述性統(tǒng)計(jì)和相關(guān)性分析,不作任何推論,往往也十分靠譜。但是往往這樣的分析只作歸納不作演譯,在很多時(shí)候是不敷應(yīng)用的,尤其是決策者對(duì)宏觀世界知識(shí)的需求,使得大數(shù)據(jù)分析者會(huì)急于對(duì)大數(shù)據(jù)挖掘出來的結(jié)果作推論。比如,我們?nèi)绻f網(wǎng)上交易數(shù)據(jù)發(fā)現(xiàn)某某地區(qū)網(wǎng)上消費(fèi)者對(duì)某一產(chǎn)品需求近三個(gè)月成長(zhǎng)五成,就很有用,如上面所述,它馬上反應(yīng)了一個(gè)商機(jī)。但是我們?nèi)绻f某一地區(qū)一成的網(wǎng)民,占4%居民數(shù),其中八成是低學(xué)歷男性,一成在談及某一政策時(shí)用了“贊”,大概這樣的描述,雖靠譜,卻對(duì)政策決定者沒什么用。所以不經(jīng)過推論,很多大數(shù)據(jù)挖掘出來的東西會(huì)沒什么用。

如果數(shù)據(jù)本身就是母體而不是樣本,其統(tǒng)計(jì)分析是可以作出詮釋的,這是推論的第一步。比如,我參予過微博轉(zhuǎn)發(fā)研究,用一段時(shí)間內(nèi)所有微博資料來分析,它本身就是微博轉(zhuǎn)發(fā)的所有資料,而不是抽樣,所以用數(shù)據(jù)挖掘出來的發(fā)現(xiàn)作詮釋,尤其是和理論相穩(wěn)合的詮釋,可信度還是不錯(cuò)的。但注意,詮釋可以作出理論的假設(shè),需要進(jìn)一步資料的驗(yàn)證,詮釋本身卻不能當(dāng)作“真理”、“法則”和“事實(shí)”。

不作推論大數(shù)據(jù)有時(shí)沒用,但一推論就可能掉入很多誤區(qū),決策者基于錯(cuò)誤的知識(shí)作決策,會(huì)帶來十分嚴(yán)重的后果。那么有那些推論的誤區(qū)呢?以我們常看到的一些“輿情分析”或“偏好分析”為例,往往大數(shù)據(jù)挖掘出“某某地方(或某某群人)對(duì)某一事物有多高的百分比表示喜歡(或支持)”,這一分析結(jié)果就有五大誤區(qū)可能使這樣的“結(jié)論”偏誤極大。

一、抽樣偏誤。這是最顯而易見,而且是很多人都注意到的,上網(wǎng)的人不等同某一地區(qū)或某一群體的所有的人,他們?cè)谀挲g、教育、社會(huì)階層、婚姻狀態(tài)等等的社會(huì)屬性上都和平均數(shù)有一定的差距。退一步說,說這是網(wǎng)民的“輿情”或“偏好”,也不準(zhǔn)確,因?yàn)閷?duì)一個(gè)事件表達(dá)態(tài)度的人又只是很小一部分的網(wǎng)民,這也只是大數(shù)據(jù)中找出來的“樣本”,不足以推論所有網(wǎng)民。

二、情緒字詞衡量偏誤。要判斷一個(gè)網(wǎng)民針對(duì)某一事件中表達(dá)的一段話是“支持還是反對(duì)”某一立場(chǎng)或“喜歡還是不喜歡”某一人或事,我們會(huì)抽取出其中的一些字詞,或一小段字詞,判斷這些字詞的屬性,符合那一類情緒基模。我曾和美國(guó)心理學(xué)家合作過一百零七個(gè)漢字字辭在中國(guó)社會(huì)中的情緒定位,方法上是讓一定數(shù)量,數(shù)十上百位,心理學(xué)受測(cè)者,每個(gè)人在電腦問卷上就出現(xiàn)在眼前的字辭表達(dá)情感的三個(gè)維度,EPA,評(píng)價(jià)(Evaluation)、情緒強(qiáng)度(Potency)以及引發(fā)行動(dòng)程度(Activity),再由這三個(gè)維度平均值判斷出這一字詞在中國(guó)人中來自于什么樣的情緒。任何衡量字詞相應(yīng)情緒的方法不免還是會(huì)有偏誤,但是在我看到一些國(guó)內(nèi)使用的衡量中,三五個(gè)人主觀地判斷就為很多字詞作好情緒歸類,這顯得十分粗糙,衡量偏誤又大的多了。

三、轉(zhuǎn)化偏誤。一段網(wǎng)民的話中可能會(huì)有一個(gè)到數(shù)個(gè)可以抽取出來的字詞,每個(gè)字詞表達(dá)了中國(guó)人情緒的EPA三維度,每一維度都是從+3到-3間無限多的刻度來表達(dá),但最終我們卻要從這一句話中判斷出一個(gè)“支持不支持”的立場(chǎng)或“喜歡不喜歡”的態(tài)度。所以從這么多復(fù)雜衡量的字辭到簡(jiǎn)單兩分的結(jié)果,需要一個(gè)轉(zhuǎn)化的模型,甚至不同類別事物的情緒表達(dá)需要不同的轉(zhuǎn)化模型。但如今國(guó)內(nèi)的很多大數(shù)據(jù)挖掘,其轉(zhuǎn)化模型只是粗糙的處理,缺乏理論基礎(chǔ),這又會(huì)加大偏誤。

四、情緒感染偏誤。網(wǎng)上發(fā)言情境中常常會(huì)有一群相同立場(chǎng)的人抱團(tuán),在一定的輿論陣地中黨同伐異,這會(huì)影響有些后續(xù)發(fā)言者隱藏自己的立場(chǎng),采用趨同言論,以免犯了眾怒。這又會(huì)使網(wǎng)上表達(dá)有時(shí)不能真實(shí)反應(yīng)一個(gè)人的偏好,在一個(gè)人冷靜獨(dú)處時(shí)會(huì)有不同的表達(dá),因而產(chǎn)生因情緒感染而有的偏誤。

五、最后一類的偏誤我稱之為資料被截的偏誤(truncated databias),就是很多行為,越是重要的,特別值得研究的,牽涉到信任感強(qiáng)的行為,其實(shí)網(wǎng)上表達(dá)的只是冰山水面上的部分,大量行為是在網(wǎng)下的,因此資料是被截的(truncated)。比如我在從大數(shù)據(jù)中算一個(gè)人人脈網(wǎng)時(shí),網(wǎng)上資料較易看出弱連帶,但是算強(qiáng)連帶卻會(huì)有很大的誤差,因?yàn)閺?qiáng)連帶中大多數(shù)親密行為是發(fā)生在網(wǎng)下的,這一部分網(wǎng)上不一定能察覺到。同樣的,一些較敏感的立場(chǎng),大多數(shù)人較不愿表達(dá)的偏好,以及較機(jī)密的信息,都不會(huì)上網(wǎng),除非像畢姥爺一樣被偷拍上網(wǎng)了,否則大數(shù)據(jù)是挖掘不到的。如何從已有的網(wǎng)上資料去推論網(wǎng)下被截的部分,是一個(gè)重大而困難的研究,但可以減少truncated data造成的偏誤。

基于這五類推論時(shí)產(chǎn)生的偏誤,使我們想直接從大數(shù)據(jù)挖掘結(jié)果推論出我們想知道的知識(shí)時(shí),常常是以偏概全的,據(jù)以作出決策,不免大錯(cuò)特錯(cuò),不得不慎。但大數(shù)據(jù)有一個(gè)優(yōu)勢(shì),就是很容易收到慣時(shí)性資料,雖然是“偏”的,但長(zhǎng)時(shí)間“偏”的資料的趨勢(shì)有時(shí)可以看出未來的端倪,過了“引爆點(diǎn)”, 趨勢(shì)就能形成,形勢(shì)就不可逆轉(zhuǎn),大數(shù)據(jù)的分析會(huì)事先提供極為重要的警訊。比如,臺(tái)灣“太陽花運(yùn)動(dòng)”就是從“反服貿(mào)懶人包”開始,雖然其中包括了很多錯(cuò)誤而扭曲的信息,你可以罵大量臺(tái)灣年輕人知識(shí)貧乏沒有國(guó)際觀,但它就是能讓很多人相信,一旦變成“普遍知識(shí)”時(shí),馬英九政府想辟謠也來不及了。

有時(shí)“引爆點(diǎn)”只要百分五的人口,網(wǎng)民也就是百分之十,便足以引爆趨勢(shì),從網(wǎng)上漫延到網(wǎng)下,勢(shì)不可擋。當(dāng)然這種研究還有很長(zhǎng)的路要走,急急忙忙就宣稱自己找到了“大趨勢(shì)”的,怕又是忽悠的成份居多。

大數(shù)據(jù)很有用,但也是雙刃劍,濫用誤用會(huì)產(chǎn)生重大決策的錯(cuò)誤,現(xiàn)在大數(shù)據(jù)相關(guān)經(jīng)費(fèi)多,出了一堆又一堆的專家,決策者使用這些專家的挖掘結(jié)果時(shí)不能不慎。 

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)