大數(shù)據(jù)挑戰(zhàn):敢不敢不要加入人的判斷?

責(zé)任編輯:editor004

2014-02-10 18:12:24

摘自:天極網(wǎng)

這個結(jié)論就是,我們應(yīng)該將我們的很多決策、預(yù)測、診斷和判斷交給算法,無論是無關(guān)緊要還是至關(guān)重要的事情。對投票者來說,糟糕的假釋決定會產(chǎn)生嚴(yán)重的后果,所以,人為把握判斷原則的假釋裁決委員會樂得將投票權(quán)拱手相讓。

這一論斷聽上去好像異端邪說,不是嗎?現(xiàn)在的管理教育大都是對人們判斷力的培養(yǎng)——也就是培養(yǎng)未來領(lǐng)導(dǎo)者“模式匹配”(pattern-matching)的能力,采用的手段通常是讓他們接觸大量的案例研究和其他類型的例證,以便讓他們充滿信心地游走在商界江湖。無論是否在商學(xué)院,人們總是告訴我們,要相信自己的本能和直覺,尤其在身經(jīng)百戰(zhàn)之后,我們完全可以靠本能和直覺在一眨眼的功夫就做出精準(zhǔn)的判斷。

但在當(dāng)今的商業(yè)世界中(或許在其他領(lǐng)域也一樣),這卻是最有害的錯誤觀念。正如我在以前的文章中寫到的,人類的直覺很重要不假,但也是有缺陷的。就決定讓哪些囚犯回家而言,假釋裁決委員會的判斷遠(yuǎn)不如簡單的規(guī)則。在診斷乳腺癌方面,訓(xùn)練有素的病理學(xué)家的結(jié)論也比不上影像分析軟件的結(jié)果。采購專業(yè)人員對哪些供應(yīng)商將來表現(xiàn)出色的判斷,遠(yuǎn)不如一種簡單算法的預(yù)測更準(zhǔn)確。美國頂尖級的法律學(xué)者對某一年最高法院判決投票結(jié)果的預(yù)測,也遠(yuǎn)遠(yuǎn)不如數(shù)據(jù)驅(qū)動型的決策規(guī)則更精準(zhǔn)。

這樣的名錄我可以一直羅列下去,不過,我還是把最后一句話留給心理學(xué)家保羅·米爾(Paul Meehl)吧。早在近60年前,他就開始研究“專家”與算法孰優(yōu)孰劣的問題了。他在職業(yè)生涯即將結(jié)束的時候曾總結(jié)說:“無可爭議的是,社會科學(xué)的研究表明,數(shù)量眾多的各種研究結(jié)果均指向了同一個方向,那就是:在從足球比賽的結(jié)果到肝病診斷的諸多預(yù)測中,你很難找出幾個預(yù)測的結(jié)果是對專家和臨床醫(yī)生有利的,我們就此完全可以得出切合實際的結(jié)論。”

大數(shù)據(jù)的挑戰(zhàn)

這個結(jié)論就是,我們應(yīng)該將我們的很多決策、預(yù)測、診斷和判斷交給算法,無論是無關(guān)緊要還是至關(guān)重要的事情。就算法是否能給我們提供更好的結(jié)果而言,已經(jīng)是毫無爭議的問題了。

當(dāng)我們?yōu)閷<页噬线@樣的事實時,他們的典型回應(yīng)往往是“我知道數(shù)據(jù)和分析很重要,這也是我做出決策時要考慮它們的原因所在”。這種說法聽上去很有道理,但實際上卻大錯特錯了。研究同樣清楚地表明:當(dāng)專家把自己的判斷添加到數(shù)據(jù)驅(qū)動型的算法或數(shù)學(xué)模型的結(jié)果中時(換句話說,當(dāng)他們做出事后評價時。),最終結(jié)果往往比只用算法本身得出的結(jié)果糟糕。正如社會學(xué)家克里斯·斯尼德斯(Chris Snijders)所說的:“你看的結(jié)果往往是,專家參與的判斷會介于模型單獨判斷和專家單獨判斷的結(jié)果之間。所以說,如果給他們提供模型,專家的判斷結(jié)果會更好些,但依然不如模型獨自判斷的表現(xiàn)。”

而當(dāng)我們把這個次序倒轉(zhuǎn)過來的時候,也就是讓專家為模型提供信息而不是相反的時候,結(jié)果則會好得多。如果專家的主觀意見被量化,并添加到某一算法之中,其結(jié)果往往會得到提升。所以,病理學(xué)家對癌癥病程的估計可以添加到影響分析軟件的分析過程中,法律學(xué)者對最高法院對案件投票的預(yù)測也可以改善模型的預(yù)測能力。伊恩·艾瑞斯(Ian Ayres)在其卓越的著作《超級數(shù)字天才》(Supercrunchers)中曾寫道:“不是讓統(tǒng)計數(shù)據(jù)充當(dāng)專家的仆人,而要讓專家成為統(tǒng)計機器的侍從。”

當(dāng)然,大多數(shù)組織都無法輕松完成這一轉(zhuǎn)變?,F(xiàn)如今,大部分決策者都確信自己很擅長此道,自己的決策毫無疑問要比沒有靈魂、簡單樸素的算法做出的決策更好,此外,他們還認(rèn)為,拿走他們的決策權(quán)會削弱自己的權(quán)威、降低自己的價值。但顯而易見的是,第一種觀念是錯誤的,第二種認(rèn)識也同樣謬之千里。

那么,如何實現(xiàn)專家與算法之間角色的大逆轉(zhuǎn)呢?倚重數(shù)據(jù)驅(qū)動型的決策過程,會讓我們的組織、經(jīng)濟(jì)和社會因此而得到更好的結(jié)果嗎?達(dá)到這樣的目標(biāo)需要透明、時間和對結(jié)果的認(rèn)識,在這里,透明是指清楚說明“專家”的判斷有多么糟糕,時間是指讓這種理念廣泛傳播并得到充分理解,對結(jié)果的認(rèn)識則能讓我們?yōu)榱说玫礁玫臎Q策而愿意忍受這一艱難的轉(zhuǎn)變。

在假釋裁決委員會的例證中,我們能看到所有這三個因素的存在。正如艾瑞斯談到的:“在最近25年中,18個州用量刑指南(sentencing guidelines)取代了假釋制度。這些州在評估再犯的風(fēng)險時已越來越倚重算法評估模型。

對投票者來說,糟糕的假釋決定會產(chǎn)生嚴(yán)重的后果,所以,人為把握判斷原則的假釋裁決委員會樂得將投票權(quán)拱手相讓。而在商業(yè)世界中,競爭,尤其是來自數(shù)據(jù)驅(qū)動型競爭對手的壓力,會讓略遜一籌的決策者舉步維艱。我不知道多久會出現(xiàn)這種結(jié)果,但我可以信心十足地說,數(shù)據(jù)驅(qū)動型的企業(yè),會從依然過度倚重專家的企業(yè)那里奪走更多的市場份額、客戶和利潤。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號