深度思考:社交媒體的大數(shù)據(jù)是否可靠?

責(zé)任編輯:editor004

2015-02-06 10:55:27

摘自:CIO時代網(wǎng)

如今,科學(xué)家們正越來越多的把目光轉(zhuǎn)向社交媒體,以研究線上及線下的人類行為,例如預(yù)測夏季股票市場的大波動。社交媒體研究所使用的公開數(shù)據(jù)并不總能準(zhǔn)確反映平臺的總體狀況——研究者們關(guān)于網(wǎng)站建立者如何過濾他們的數(shù)據(jù)源常常一頭霧水。

如今,科學(xué)家們正越來越多的把目光轉(zhuǎn)向社交媒體,以研究線上及線下的人類行為,例如預(yù)測夏季股票市場的大波動。一些數(shù)據(jù)處理專家指出,使用該種方法處理數(shù)據(jù)時,研究者們須警惕超大量社交媒體數(shù)據(jù)背后可能存在的嚴(yán)重缺陷。

錯誤的結(jié)果可能產(chǎn)生嚴(yán)重的影響:每年,都有上千的研究報告是基于社交媒體上收集而來的數(shù)據(jù)。麥吉爾大學(xué)計算科學(xué)學(xué)院助理教授Derek Ruths稱“這些文章中有好些被用來通報和決斷公眾,行業(yè)及政府的投資決策”。

卡內(nèi)基梅隆大學(xué)軟件科學(xué)院的合作作者Jürgen Pfeffer則說,“并不是所有打上“大數(shù)據(jù)”標(biāo)簽的東西就都很好”,他指出許多研究者都有或是希望有如此的前提——即只要數(shù)據(jù)足夠多,他們就能修正任何可能產(chǎn)生的偏差。“然而,行為學(xué)研究中的一句老話說的好:了解你的數(shù)據(jù)”。不過,社交媒體作為數(shù)據(jù)源之一吸引力實在驚人。“人們想要了解世界上正發(fā)生著什么,這無疑是快速的跟進(jìn)辦法。”以2013年的波士頓馬拉松爆炸案為例,Pfeffer在兩周內(nèi)收集了兩千五百萬的相關(guān)tweets(推特)。“你能了解百萬計人的行為——還都是免費的。”

數(shù)據(jù)過濾與SPAM

一篇發(fā)表在《科學(xué)》雜志上的評論中,Ruths和Pfeffer強調(diào)了可能導(dǎo)致社交媒體數(shù)據(jù)失真的若干因素,及它們的解決辦法。

包括:

不同社交媒體平臺吸引不同的受眾——比如,Instagram對18~29歲間的成年人吸引力最大,包括非裔美國人,拉丁人,女性和城市居民,而在Pinterest上,占主導(dǎo)地位的則是那些家庭年收入超過$100,000,25—34歲的女性用戶。Ruths和Pfeffer指出,研究人員很少能夠知曉,更談不上正確對待這些內(nèi)含的采樣偏差。

社交媒體研究所使用的公開數(shù)據(jù)并不總能準(zhǔn)確反映平臺的總體狀況——研究者們關(guān)于網(wǎng)站建立者如何過濾他們的數(shù)據(jù)源常常一頭霧水。

社交媒體的設(shè)計通常會影響用戶的行為,從而改變所測量的數(shù)據(jù)。比如,F(xiàn)acebook沒有“不喜歡”的按鈕,這就使得負(fù)面內(nèi)容相比于正面的“喜歡”更難被偵查到。

大量SPAM(垃圾郵件發(fā)送者和機器人)通常在社交媒體上偽裝成普通用戶,也被錯誤地納入了很多人類行為測算和預(yù)測。

研究者們還經(jīng)常只報告來自于易于分類的用戶,主題和事件所得出的結(jié)論,這就使得新的方法看起來更加準(zhǔn)備。例如,在推知Twitter用戶的政治取向時,只取得了65%的準(zhǔn)確率——即使研究(側(cè)重于政治活躍用戶)聲稱有90%的準(zhǔn)確度。

解決方法

Ruths和Pfeffer指出,以上很多問題都有顯而易見的解決方法,這些方法被廣泛地用在諸如流行病學(xué),統(tǒng)計學(xué)和機械學(xué)等領(lǐng)域。Ruths說,“這些問題的共同點就是,需要研究者們在分析社交媒體數(shù)據(jù)時,能更加敏銳地感知數(shù)據(jù)本身。”

社會學(xué)家應(yīng)對此種挑戰(zhàn)的技術(shù)和標(biāo)準(zhǔn)已經(jīng)十分純熟了。Ruths說,“1948年,臭名昭著的“杜威擊敗杜魯門”報紙標(biāo)題就來自于電話調(diào)查,它最終在采樣上低估了杜魯門的支持者。這并不是在抹黑民意調(diào)查,正是那次顯而易見的錯誤導(dǎo)致了今天日益復(fù)雜的技術(shù),更高的標(biāo)準(zhǔn),以及更加準(zhǔn)確的民調(diào)。如今,我們站在與當(dāng)年類似的技術(shù)發(fā)展拐點上。通過解決面臨的問題,我們才能實現(xiàn)基于社交媒體的研究所展現(xiàn)出的巨大潛力。”

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號