在世界杯預(yù)測時準(zhǔn)確率超高的百度大數(shù)據(jù)預(yù)測在穩(wěn)步推進(jìn)時遇到了一個小障礙,尚處于內(nèi)測的票房預(yù)測對《黃金時代》的預(yù)測與實(shí)際結(jié)果出現(xiàn)了偏差,被媒體長篇報(bào)道引發(fā)業(yè)內(nèi)高度關(guān)注,筆者一直在觀察大數(shù)據(jù)預(yù)測業(yè)務(wù),對于百度預(yù)測《黃金時代》失利一事有自己的一些觀點(diǎn),不吐不快。
一、看待大數(shù)據(jù)預(yù)測失準(zhǔn)要冷靜客觀
近年來,“大數(shù)據(jù)”一詞頻繁出現(xiàn)在各類媒體上,與大數(shù)據(jù)相關(guān)的各種產(chǎn)業(yè)、產(chǎn)品也在蓬勃發(fā)展。今年2月,中關(guān)村管委會在《加快培育大數(shù)據(jù)產(chǎn)業(yè)集群推動產(chǎn)業(yè)轉(zhuǎn)型升級的意見》發(fā)布會上表示,到2016年,中關(guān)村大數(shù)據(jù)帶動的產(chǎn)業(yè)規(guī)模將超過1萬億元,這還僅僅是中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)的數(shù)字而已,放眼全球,大數(shù)據(jù)未來的“錢景”非常可觀。盡管大數(shù)據(jù)概念被熱炒,但與大數(shù)據(jù)相關(guān)的各種產(chǎn)品其實(shí)尚處在初期探索階段,比如利用大數(shù)據(jù)做預(yù)測,盡管百度預(yù)測此前在世界杯預(yù)測、黃金周旅游預(yù)測等產(chǎn)品上表現(xiàn)出比較高的準(zhǔn)確率,但對“預(yù)測”本身來說,出現(xiàn)失準(zhǔn)的現(xiàn)象其實(shí)很正常。
具體到《黃金時代》票房預(yù)測這件事上,我們先來看看百度的官方解釋。百度對媒體的回應(yīng)并沒有將問題歸結(jié)到“工程師犯錯”,而是直接指出核心原因:因?yàn)槲覈娪笆袌錾衔乃嚻臍v史票房數(shù)據(jù)很少,所以在針對《黃金時代》進(jìn)行預(yù)測時采用了通用的模型而沒有針對文藝片單獨(dú)建模,導(dǎo)致最終結(jié)果出現(xiàn)偏差。
擁有蕭紅、民國、文藝這些標(biāo)簽,《黃金時代》算得上相對小眾的電影,面向的觀眾并非主流人群。關(guān)于這類電影的任何數(shù)據(jù)都是少之又少,沒有對應(yīng)類型片的預(yù)測模型可供參考。百度在預(yù)測《黃金時代》時采取了通用電影的模型,導(dǎo)致出現(xiàn)了較大偏差,未來如果要預(yù)測準(zhǔn)確,最好的解決方式肯定是針對不同類型的電影單獨(dú)建模,而據(jù)我了解,尚處在內(nèi)測階段的票房預(yù)測已經(jīng)在進(jìn)行這方面的改進(jìn)。
瀏覽百度預(yù)測平臺(trends.baidu.com),百度票房預(yù)測的圖標(biāo)是灰色的,并沒有正式上線,相反,經(jīng)濟(jì)指數(shù)、疾病、景點(diǎn)和賽事預(yù)測倒已全面上線投入使用。百度票房預(yù)測模型還需進(jìn)一步完善,更多參數(shù)需要加入模型,比如影片屬性、片長、排片量、場均票價等全方位維度都納入考慮。
不過,從另一個角度來看,我認(rèn)為,就算是百度票房預(yù)測正式上線之后出現(xiàn)“預(yù)測失誤”,也非常正常,沒有誰真正擁有水晶球,大數(shù)據(jù)預(yù)測無法確定某件事情必然會發(fā)生,它更多是給出一個概率,人類只有不斷地去接近這一個概率。預(yù)測的前提就是要承認(rèn)不確定性的存在。在不同領(lǐng)域不確定性大有不同。票房、股市恰恰就是更容易受人為影響的存在大力不確定性的領(lǐng)域,預(yù)測的難度會大過天氣、旅游、交通、物價等。
因?yàn)橐徊俊饵S金時代》預(yù)測失利便質(zhì)疑大數(shù)據(jù)預(yù)測本身,或者票房預(yù)測本身,是不合理的。百度此前在世界杯期間、在黃金周期間相對漂亮的預(yù)測結(jié)果,已經(jīng)證明了大數(shù)據(jù)預(yù)測的價值,只不過面對票預(yù)測房這一全新的領(lǐng)域,需要更耐心地優(yōu)化而已。那么,票房預(yù)測在中國真的沒效嗎?
二、預(yù)測的精髓在于沉淀和糾偏
《為什么大數(shù)據(jù)在預(yù)測《黃金時代》票房時不靈了?》一文的核心觀點(diǎn)列舉如下:1、中國票房數(shù)據(jù)沉淀太少;2、一些人為制造的數(shù)據(jù)對票房預(yù)測造成干擾;3、預(yù)測模型處于初級階段,變量遺漏和樣本偏差;4、影院經(jīng)理預(yù)測靠譜,票房預(yù)測沒有意義,電影預(yù)測談大數(shù)據(jù)為之過早。
對于這些觀點(diǎn),只有第3點(diǎn)我表示認(rèn)同,這是客觀事實(shí),百度也承認(rèn)處于內(nèi)測階段的票房預(yù)測模型存在不足尚需完善。但如果深思則會發(fā)現(xiàn),世界上并無完美的預(yù)測模型,每個領(lǐng)域都是,下一秒要發(fā)生的事情會受到諸多變量影響,有些變量是可提前納入考慮的,有些變量就算考慮到卻又是很難監(jiān)控,變量遺漏和樣本偏差是永遠(yuǎn)存在的預(yù)測問題,預(yù)測者只有不斷地更新變量、糾偏樣本、升級模型才可以不斷地保持預(yù)測足夠接近真實(shí)。
在《大數(shù)據(jù)預(yù)測將會改變哪些行業(yè)?》一文中,筆者總結(jié)大數(shù)據(jù)預(yù)測的邏輯基礎(chǔ)是,每一種非常規(guī)的變化事前一定有征兆,每一件事情都有跡可循,如果找到了征兆與變化之間的規(guī)律,就可以進(jìn)行預(yù)測。對于預(yù)測來說至關(guān)重要的兩點(diǎn)是:從過往數(shù)據(jù)和經(jīng)驗(yàn)中得到的規(guī)律,這映射到預(yù)測模型;可以實(shí)時監(jiān)控的“變化”,映射到變量或者說實(shí)時數(shù)據(jù)。大數(shù)據(jù)預(yù)測與傳統(tǒng)預(yù)測的不同就在于:更具時效性、新型數(shù)據(jù)源、動態(tài)性預(yù)測以及規(guī)律性依賴。
對票房預(yù)測持消極態(tài)度的首先將問題歸結(jié)為數(shù)據(jù):電影數(shù)據(jù)沉淀太少、各家網(wǎng)絡(luò)數(shù)據(jù)不通以及臟數(shù)據(jù)問題。
1、沉淀太少是杞人憂天。
中國票房數(shù)據(jù)沉淀太少可能是客觀事實(shí)。但預(yù)測需要海量歷史數(shù)據(jù)的原因在于從中發(fā)現(xiàn)規(guī)律。但倘若只有100年的票房數(shù)據(jù),卻并沒有與影響這些票房數(shù)據(jù)的“變量”數(shù)據(jù),對于挖掘規(guī)律其實(shí)并無幫助。
一個例子是百度在做世界杯預(yù)測時便與第三方數(shù)據(jù)公司合作得到大量歷史數(shù)據(jù)進(jìn)行挖掘,將球隊(duì)、隊(duì)員、場地等靜態(tài)因素考慮在內(nèi)同時引入輿情、歐賠指數(shù)等動態(tài)變量,最終實(shí)現(xiàn)接近準(zhǔn)確的預(yù)測。
對于票房預(yù)測而言,就算得到中國80、90年代的票房數(shù)據(jù),而不是“預(yù)測相關(guān)數(shù)據(jù)”,對于票房規(guī)律的獲取并無什么幫助,那時候并無互聯(lián)網(wǎng),電影市場早已面目全非。票房預(yù)測究竟需要什么數(shù)據(jù)?沒有人可以告訴我們答案。等到10年之后數(shù)據(jù)積累完全再來談大數(shù)據(jù)預(yù)測,并不現(xiàn)實(shí)。因?yàn)榻裉觳蛔?,人們就不知道該收集、記錄什么?shù)據(jù)。況且誰又能指出10年與2年在時間上的差距會對數(shù)據(jù)積累造成什么本質(zhì)不同呢?
大數(shù)據(jù)預(yù)測的數(shù)據(jù)源優(yōu)勢正是在于它可以更全面及時地記錄數(shù)據(jù),并且收集到過往完全無法收集的數(shù)據(jù)比如用戶的需求、輿情、情緒變化,或者說出行規(guī)律、電影票價、影院排期數(shù)據(jù)。因此與其去擔(dān)憂“傳統(tǒng)數(shù)據(jù)沉淀不足”還不如思考票房預(yù)測究竟需要哪些數(shù)據(jù),究竟如何才能提升規(guī)律?
2、數(shù)據(jù)不通和臟數(shù)據(jù)是永恒問題。
網(wǎng)絡(luò)數(shù)據(jù)不通是整個互聯(lián)網(wǎng)都要面臨的數(shù)據(jù)鴻溝問題,沒有哪一家擁有全網(wǎng)的數(shù)據(jù),聚合全網(wǎng)數(shù)據(jù)進(jìn)行預(yù)測幾乎是不可能完成的任務(wù),況且這根本沒任何必要。如果說社交網(wǎng)絡(luò)數(shù)據(jù)對預(yù)測很重要,那么中國只有騰訊才可能做好預(yù)測——實(shí)際并沒有做。阿里淘寶指數(shù)已成為電商銷量風(fēng)向標(biāo)、百度搜索指數(shù)對于各行各業(yè)同樣具有重要的參考意義,因?yàn)樗碚髋d趣。每家掌握數(shù)據(jù)的性質(zhì)不同,但確實(shí)可通過合作去得到更多維度的數(shù)據(jù),最終提升預(yù)測可靠性,但要各家直接打通數(shù)據(jù)壁壘是不現(xiàn)實(shí)的。
同理,“臟數(shù)據(jù)”以及”噪音“是整個互聯(lián)網(wǎng)永遠(yuǎn)存在的現(xiàn)象,就算是傳統(tǒng)的采樣調(diào)研難免也會遇到噪聲樣本進(jìn)而被干擾。應(yīng)對這個問題只有盡量過濾噪音數(shù)據(jù),同時考慮到噪音對模型進(jìn)行不斷地糾正,并且增大預(yù)測結(jié)果的誤差范圍。還有一個假設(shè)是,如果有臟數(shù)據(jù)對結(jié)果起到積極作用(比如讓票房成績更好),同樣會有臟數(shù)據(jù)對結(jié)果起到消極影響。
百度搜索結(jié)果不排除有人為操作的數(shù)據(jù),水軍評論、豆瓣評分大家心知肚明,但文中所提及的百度商業(yè)化結(jié)果卻根本算不上臟數(shù)據(jù),因?yàn)榘俣纫懦虡I(yè)廣告的影響輕而易舉,況且這些數(shù)據(jù)對預(yù)測是十分有價值的,Google票房預(yù)測模型一部分便是基于廣告點(diǎn)擊數(shù)據(jù)。
3、影院經(jīng)理不是預(yù)測而是影響票房。
影院經(jīng)理確實(shí)可預(yù)測對應(yīng)影院某部電影的票房結(jié)果。如果他們掌握拍期權(quán)甚至還可以直接影響、決定對應(yīng)電影的局部票房。所有影院經(jīng)理最終會對整體票房造成莫大的影響。這并不是一個因果關(guān)系,而是環(huán)環(huán)相扣:影院經(jīng)理在預(yù)測票房的同時也影響著票房。
我們可以將影院經(jīng)理對應(yīng)到股市中的股民,股民對自己所關(guān)注的股票價格有所預(yù)期,基于這個預(yù)期進(jìn)行減倉或增持等操作。所有股民的博弈最終決定了股價的波動。但這并不意味著股民是最好的股票預(yù)測專家。在旅游、交通、房價等領(lǐng)域均有類似的狀況,參與者基于個體的預(yù)測,或者第三方預(yù)測結(jié)果去做出行動,進(jìn)而影響結(jié)果。
這里想說明的是,將參與者與預(yù)測者放在一起本身就不合適,參與者是十分重要的動態(tài)變量?!饵S金時代》出現(xiàn)如此慘淡的票房很大程度便是票房經(jīng)理不斷降低預(yù)期進(jìn)而減少排片所致。不過,百度未來與影院或者票房經(jīng)理合作倒確實(shí)可以提升預(yù)測準(zhǔn)確率,一方面在線下升級模型,另一方面將票房經(jīng)理的排期計(jì)劃納入監(jiān)控范圍,把百度數(shù)據(jù)+工程師的大數(shù)據(jù)預(yù)測升級為眾包式的票房預(yù)測,倒有可能。
最后我想說的是,因?yàn)橐徊侩娪暗念A(yù)測失利否定大數(shù)據(jù)票房預(yù)測確實(shí)有待商榷,天氣預(yù)報(bào)不斷地沉淀不斷地升級才能做到今天的準(zhǔn)確率以及精細(xì)化,但仍有不準(zhǔn)的時候,在影響我生活時我也曾憤怒地認(rèn)為天氣預(yù)報(bào)不考慮,但大家都知道事實(shí)并非如此。票房預(yù)測剛剛開始,或許應(yīng)該得到更多包容。從長遠(yuǎn)來看,通過不斷的優(yōu)化,如果票房預(yù)測產(chǎn)品最終能夠達(dá)到一定的準(zhǔn)確度,那么對于整個電影產(chǎn)業(yè)將會提供非常重要的參考價值,比如對投資方、拍攝方、推廣方提供更準(zhǔn)確的數(shù)據(jù)參考,從而引導(dǎo)他們在宣傳推廣、劇情設(shè)置甚至是甄選演員等方面做出更加準(zhǔn)確、有利的判斷。