世界杯期間各家科技巨頭利用大數(shù)據(jù)預(yù)測(cè)比賽結(jié)果,再現(xiàn)“章魚保羅”雄風(fēng)。世界杯結(jié)束了但大數(shù)據(jù)預(yù)測(cè)還會(huì)繼續(xù)。從夜觀天象到氣象預(yù)報(bào),從童話里的水晶球到今日的科技預(yù)言家,從地震云的傳說再到科學(xué)家猛攻的地震預(yù)測(cè),人類一直希望能夠更早突破局限看穿未來。隨著信息革命的深入,大數(shù)據(jù)時(shí)代的預(yù)測(cè)更加容易,人類的生活正在被大數(shù)據(jù)預(yù)測(cè)深刻改變。
預(yù)測(cè)是大數(shù)據(jù)核心價(jià)值
人們?cè)谡務(wù)摯髷?shù)據(jù)的采集、存儲(chǔ)和挖掘時(shí),最常見的應(yīng)用案例便是“預(yù)測(cè)股市”“預(yù)測(cè)流感”“預(yù)測(cè)消費(fèi)者行為”,預(yù)測(cè)性分析是大數(shù)據(jù)最核心的功能。
大數(shù)據(jù)還擁有數(shù)據(jù)可視化和大數(shù)據(jù)挖掘的功能,對(duì)已發(fā)生的信息價(jià)值進(jìn)行挖掘并輔助決策。傳統(tǒng)的數(shù)據(jù)分析挖掘在做相似的事情,只不過效率會(huì)低一些或者說挖掘的深度、廣度和精度不夠。大數(shù)據(jù)預(yù)測(cè)則是基于大數(shù)據(jù)和預(yù)測(cè)模型去預(yù)測(cè)未來某件事情的概率。讓分析從“面向已經(jīng)發(fā)生的過去”轉(zhuǎn)向“面向即將發(fā)生的未來”是大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)分析的最大不同。
大數(shù)據(jù)預(yù)測(cè)的邏輯基礎(chǔ)是,每一種非常規(guī)的變化事前一定有征兆,每一件事情都有跡可循,如果找到了征兆與變化之間的規(guī)律,就可以進(jìn)行預(yù)測(cè)。大數(shù)據(jù)預(yù)測(cè)無法確定某件事情必然會(huì)發(fā)生,它更多是給出一個(gè)概率。
從天氣預(yù)報(bào)看大數(shù)據(jù)預(yù)測(cè)的四個(gè)條件
在互聯(lián)網(wǎng)之前便已經(jīng)有基于大數(shù)據(jù)的預(yù)測(cè)分析了:天氣預(yù)報(bào)。因?yàn)榛ヂ?lián)網(wǎng),天氣預(yù)報(bào)為代表的大數(shù)據(jù)預(yù)測(cè)的以下幾個(gè)特征在更多領(lǐng)域得到體現(xiàn)。
1、大數(shù)據(jù)預(yù)測(cè)的時(shí)效性。天氣預(yù)報(bào)粒度從天縮短到小時(shí),有嚴(yán)苛的時(shí)效要求,基于海量數(shù)據(jù)通過傳統(tǒng)方式進(jìn)行計(jì)算,得出結(jié)論時(shí)明天早已到來,預(yù)測(cè)并無價(jià)值。其他領(lǐng)域的大數(shù)據(jù)預(yù)測(cè)應(yīng)用特征對(duì)“時(shí)效性”有更高要求,譬如股市、實(shí)時(shí)定價(jià),而云計(jì)算、分布式計(jì)算和超級(jí)計(jì)算機(jī)的發(fā)展則提供了這樣的高速計(jì)算能力。
2、大數(shù)據(jù)預(yù)測(cè)的數(shù)據(jù)源。天氣預(yù)報(bào)需要收集海量氣象數(shù)據(jù),氣象衛(wèi)星、氣象站臺(tái)負(fù)責(zé)收集,但整套系統(tǒng)的部署和運(yùn)維耗資巨大。在互聯(lián)網(wǎng)之前鮮有領(lǐng)域具備這樣的數(shù)據(jù)收集能力。WEB1.0為中心化信息產(chǎn)生、WEB2.0為社會(huì)化創(chuàng)造、移動(dòng)互聯(lián)網(wǎng)則是隨時(shí)隨地、社會(huì)化和多設(shè)備的數(shù)據(jù)上傳,每一次演化數(shù)據(jù)收集的成本都大幅降低,范圍和規(guī)模則大幅擴(kuò)大。大數(shù)據(jù)被引爆的同時(shí),大數(shù)據(jù)預(yù)測(cè)所需數(shù)據(jù)源不再是問題。
3、大數(shù)據(jù)預(yù)測(cè)的動(dòng)態(tài)性。不同時(shí)點(diǎn)的計(jì)算因子動(dòng)態(tài)變化,任何變量都會(huì)引發(fā)整個(gè)系統(tǒng)變化,甚至產(chǎn)生蝴蝶效應(yīng)。如果某個(gè)變量對(duì)結(jié)果起決定性作用且難以捕捉,預(yù)測(cè)難上加難,譬如人為因素。大數(shù)據(jù)預(yù)測(cè)的應(yīng)用場(chǎng)景大都是極不穩(wěn)定的領(lǐng)域但有固定規(guī)律,譬如天氣、股市、疾病。這需要預(yù)測(cè)系統(tǒng)對(duì)每一個(gè)變量數(shù)據(jù)的精準(zhǔn)捕捉,并接近實(shí)時(shí)地調(diào)整預(yù)測(cè)。發(fā)達(dá)的傳感器網(wǎng)絡(luò)外加大數(shù)據(jù)計(jì)算能力讓上述兩點(diǎn)更加容易。
4、大數(shù)據(jù)預(yù)測(cè)的規(guī)律性。大數(shù)據(jù)預(yù)測(cè)與傳統(tǒng)的基于抽樣的預(yù)測(cè)不同之處在于,其基于海量歷史數(shù)據(jù)和實(shí)時(shí)動(dòng)態(tài)數(shù)據(jù),發(fā)現(xiàn)數(shù)據(jù)與結(jié)果之間的規(guī)律,并假設(shè)此規(guī)律會(huì)延續(xù),捕捉到變量之后進(jìn)行預(yù)測(cè)。一個(gè)領(lǐng)域本身便有相對(duì)穩(wěn)定的規(guī)律,大數(shù)據(jù)預(yù)測(cè)才有機(jī)會(huì)得到應(yīng)用。古人夜觀天象就說明天氣是由規(guī)律可循的,因此氣象預(yù)報(bào)最早得到應(yīng)用。反面案例則是規(guī)律難以捉摸,數(shù)據(jù)源收集困難的地震預(yù)測(cè),還有雙色球彩票。
大數(shù)據(jù)預(yù)測(cè)的典型應(yīng)用領(lǐng)域
互聯(lián)網(wǎng)給大數(shù)據(jù)預(yù)測(cè)應(yīng)用的普及帶來了便利條件。天氣預(yù)報(bào)之外,還有哪些領(lǐng)域正在或者可能被大數(shù)據(jù)預(yù)測(cè)所改變呢?結(jié)合國(guó)內(nèi)外案例來看,以下11個(gè)領(lǐng)域是最有機(jī)會(huì)的大數(shù)據(jù)預(yù)測(cè)應(yīng)用領(lǐng)域。
1、體育賽事預(yù)測(cè)
世界杯期間,谷歌、百度、微軟和高盛等公司都推出了比賽結(jié)果預(yù)測(cè)平臺(tái)。百度預(yù)測(cè)結(jié)果最為亮眼,預(yù)測(cè)全程64場(chǎng)比賽,準(zhǔn)確率為67%,進(jìn)入淘汰賽后準(zhǔn)確率為94%?,F(xiàn)在互聯(lián)網(wǎng)公司取代章魚保羅試水賽事預(yù)測(cè)也意味著未來的體育賽事會(huì)被大數(shù)據(jù)預(yù)測(cè)所掌控。
谷歌世界杯預(yù)測(cè)基于Opta Sports的海量賽事數(shù)據(jù)來構(gòu)建其最終的預(yù)測(cè)模型。百度則是搜索過去5年內(nèi)全世界987支球隊(duì)(含國(guó)家隊(duì)和俱樂部隊(duì))的3.7萬(wàn)場(chǎng)比賽數(shù)據(jù),同時(shí)與中國(guó)彩票網(wǎng)站樂彩網(wǎng)、歐洲必發(fā)指數(shù)數(shù)據(jù)供應(yīng)商Spdex進(jìn)行數(shù)據(jù)合作,導(dǎo)入博彩市場(chǎng)的預(yù)測(cè)數(shù)據(jù),建立了一個(gè)囊括199972名球員和1.12億條數(shù)據(jù)的預(yù)測(cè)模型,并在此基礎(chǔ)上進(jìn)行結(jié)果預(yù)測(cè)。
從互聯(lián)網(wǎng)公司的成功經(jīng)驗(yàn)來看,只要有體育賽事歷史數(shù)據(jù),并且與指數(shù)公司進(jìn)行合作,便可以進(jìn)行其他賽事的預(yù)測(cè),譬如歐冠、NBA等賽事。
2、股票市場(chǎng)預(yù)測(cè)
去年英國(guó)華威商學(xué)院和美國(guó)波士頓大學(xué)物理系的研究發(fā)現(xiàn),用戶通過谷歌搜索的金融關(guān)鍵詞或許可以金融市場(chǎng)的走向,相應(yīng)的投資戰(zhàn)略收益高達(dá)326%。此前則有專家嘗試通過Twitter博文情緒來預(yù)測(cè)股市波動(dòng)。
理論上來講股市預(yù)測(cè)更加適合美國(guó)。中國(guó)股票市場(chǎng)無法做到雙向盈利,只有股票漲才能盈利,這會(huì)吸引一些游資利用信息不對(duì)稱等情況人為改變股票市場(chǎng)規(guī)律,因此中國(guó)股市沒有相對(duì)穩(wěn)定的規(guī)律則很難被預(yù)測(cè),且一些對(duì)結(jié)果產(chǎn)生決定性影響的變量數(shù)據(jù)根本無法被監(jiān)控。
3、市場(chǎng)物價(jià)預(yù)測(cè)
CPI表征已經(jīng)發(fā)生的物價(jià)浮動(dòng)情況,但統(tǒng)計(jì)局?jǐn)?shù)據(jù)并不權(quán)威。但大數(shù)據(jù)則可能幫助人們了解未來物價(jià)走向,提前預(yù)知通貨膨脹或經(jīng)濟(jì)危機(jī)。最典型的案例莫過于馬云通過阿里B2B大數(shù)據(jù)提前知曉亞洲金融危機(jī),當(dāng)然這是阿里數(shù)據(jù)團(tuán)隊(duì)的功勞。
單個(gè)商品的價(jià)格預(yù)測(cè)更加容易,尤其是機(jī)票這樣的標(biāo)準(zhǔn)化產(chǎn)品,去哪兒提供的“機(jī)票日歷”就是價(jià)格預(yù)測(cè),告知你幾個(gè)月后機(jī)票的大概價(jià)位。商品的生產(chǎn)、渠道成本和大概毛利在充分競(jìng)爭(zhēng)的市場(chǎng)中是相對(duì)穩(wěn)定的,與價(jià)格相關(guān)的變量相對(duì)固定,商品的供需關(guān)系在電子商務(wù)平臺(tái)可實(shí)時(shí)監(jiān)控,因此價(jià)格可以預(yù)測(cè),基于預(yù)測(cè)結(jié)果可提供購(gòu)買時(shí)間建議,或者指導(dǎo)商家進(jìn)行動(dòng)態(tài)價(jià)格調(diào)整和營(yíng)銷活動(dòng)以利益最大化。
5、用戶行為預(yù)測(cè)
基于用戶搜索行為、瀏覽行為、評(píng)論歷史和個(gè)人資料等數(shù)據(jù),互聯(lián)網(wǎng)業(yè)務(wù)可以洞察消費(fèi)者的整體需求,進(jìn)而進(jìn)行針對(duì)性的產(chǎn)品生產(chǎn)、改進(jìn)和營(yíng)銷?!都埮莆荨愤x擇演員和劇情、百度基于用戶喜好進(jìn)行精準(zhǔn)廣告營(yíng)銷、阿里根據(jù)天貓用戶特征包下生產(chǎn)線定制產(chǎn)品、亞馬遜預(yù)測(cè)用戶點(diǎn)擊行為提前發(fā)貨均是受益于互聯(lián)網(wǎng)用戶行為預(yù)測(cè)。
受益于傳感器技術(shù)和物聯(lián)網(wǎng)的發(fā)展,線下的用戶行為洞察正在醞釀。免費(fèi)商用WIFI、ibeacon技術(shù)、攝像頭影像監(jiān)控、室內(nèi)定位技術(shù)、NFC傳感器網(wǎng)絡(luò)、排隊(duì)叫號(hào)系統(tǒng),可以探知用戶線下的移動(dòng)、停留、出行規(guī)律等數(shù)據(jù),進(jìn)行精準(zhǔn)營(yíng)銷或者產(chǎn)品定制。
6、人體健康預(yù)測(cè)
中醫(yī)可以通過望聞問切手段發(fā)現(xiàn)一些人體內(nèi)隱藏的慢性病,甚至看體質(zhì)便可知曉一個(gè)人將來可能會(huì)出現(xiàn)什么癥狀。人體體征變化有一定規(guī)律,而慢性病發(fā)生前人體已經(jīng)會(huì)有一些持續(xù)性異常。理論上來說,如果大數(shù)據(jù)掌握了這樣的異常情況,便可以進(jìn)行慢性病預(yù)測(cè)。
結(jié)合智能硬件,慢性病的大數(shù)據(jù)預(yù)測(cè)變?yōu)榭赡?。可穿戴設(shè)備和智能健康設(shè)備幫助網(wǎng)絡(luò)收集人體健康數(shù)據(jù),心率、體重、血脂、血糖、運(yùn)動(dòng)量、睡眠量等狀況。如果這些數(shù)據(jù)足夠精準(zhǔn)且全面,并且有可以形成算法的慢性病預(yù)測(cè)模式,或許未來你的設(shè)備就會(huì)提醒你的身體罹患某種慢性病的風(fēng)險(xiǎn)。KickStarter上的My Spiroo便可收集哮喘病人的吐氣數(shù)據(jù)來指導(dǎo)醫(yī)生診斷其未來的病情趨勢(shì)。急性病卻很難預(yù)測(cè),突變和隨機(jī)性特征使之難以預(yù)測(cè)。
7、疾病疫情預(yù)測(cè)
基于人們的搜索情況、購(gòu)物行為預(yù)測(cè)大面積疫情爆發(fā)的可能性,最經(jīng)典的“流感預(yù)測(cè)”便屬于此類。如果來自某個(gè)區(qū)域的“流感”、“板藍(lán)根”搜索需求越來越多,自然可以推測(cè)該處有流感趨勢(shì)。
繼世界杯、高考、景點(diǎn)和城市預(yù)測(cè)之后,百度近日推出了疾病預(yù)測(cè)產(chǎn)品。目前可以就流感、肝炎、肺結(jié)核、性病這四種疾病,對(duì)全國(guó)每一個(gè)省份以及大多數(shù)地級(jí)市和區(qū)縣的活躍度、趨勢(shì)圖等情況,進(jìn)行全面的監(jiān)控。未來,百度疾病預(yù)測(cè)監(jiān)控的疾病種類將從目前的4種擴(kuò)展到30多種,覆蓋更多的常見病和流行病。用戶可以根據(jù)當(dāng)?shù)氐念A(yù)測(cè)結(jié)果進(jìn)行針對(duì)性的預(yù)防。
8、災(zāi)害災(zāi)難預(yù)測(cè)
氣象預(yù)測(cè)是最典型的災(zāi)難災(zāi)害預(yù)測(cè)。地震、洪澇、高溫、暴雨這些自然災(zāi)害如果可以利用大數(shù)據(jù)能力進(jìn)行更加提前的預(yù)測(cè)和告知便有助于減災(zāi)防災(zāi)救災(zāi)賑災(zāi)。與過往不同的是,過去的數(shù)據(jù)收集方式存在著死角、成本高等問題,物聯(lián)網(wǎng)時(shí)代可以借助廉價(jià)的傳感器攝像頭和無線通信網(wǎng)絡(luò),進(jìn)行實(shí)時(shí)的數(shù)據(jù)監(jiān)控收集,再利用大數(shù)據(jù)預(yù)測(cè)分析,做到更精準(zhǔn)的自然災(zāi)害預(yù)測(cè)。
9、環(huán)境變遷預(yù)測(cè)
除了進(jìn)行短時(shí)間微觀的天氣、災(zāi)害預(yù)測(cè)之外,還可以進(jìn)行更加長(zhǎng)期和宏觀的環(huán)境和生態(tài)變遷預(yù)測(cè)。森林和農(nóng)田面積縮小、野生動(dòng)物植物瀕危、海岸線上升,溫室效應(yīng)這些問題是地球面臨的“慢性問題“。如果人類知道越多地球生態(tài)系統(tǒng)以及天氣形態(tài)變化數(shù)據(jù),就越容易模型化未來環(huán)境的變遷,進(jìn)而阻止不好的轉(zhuǎn)變發(fā)生。而大數(shù)據(jù)幫助人類收集、儲(chǔ)存和挖掘更多的地球數(shù)據(jù),同時(shí)還提供了預(yù)測(cè)的工具。
10、交通行為預(yù)測(cè)
基于用戶和車輛的LBS定位數(shù)據(jù),分析人車出行的個(gè)體和群體特征,進(jìn)行交通行為的預(yù)測(cè)。交通部門可預(yù)測(cè)不同時(shí)點(diǎn)不同道路的車流量進(jìn)行智能的車輛調(diào)度,或應(yīng)用潮汐車道;用戶則可以根據(jù)預(yù)測(cè)結(jié)果選擇擁堵幾率更低的道路。
百度基于地圖應(yīng)用的LBS預(yù)測(cè)涵蓋范圍更廣。春運(yùn)期間預(yù)測(cè)人們的遷徙趨勢(shì)指導(dǎo)火車線路和航線的設(shè)置,節(jié)假日預(yù)測(cè)景點(diǎn)的人流量指導(dǎo)人們的景區(qū)選擇,平時(shí)還有百度熱力圖來告訴用戶城市商圈、動(dòng)物園等地點(diǎn)的人流情況,指導(dǎo)用戶出行選擇和商家的選點(diǎn)選址。
11、能源消耗預(yù)測(cè)
加州電網(wǎng)系統(tǒng)運(yùn)營(yíng)中心管理著加州超過80%的電網(wǎng),向3500萬(wàn)用戶每年輸送2.89億兆瓦電力,電力線長(zhǎng)度超過25000英里。該中心采用了Space-Time Insight的軟件進(jìn)行智能管理,綜合分析來自包括天氣、傳感器、計(jì)量設(shè)備等各種數(shù)據(jù)源的海量數(shù)據(jù),預(yù)測(cè)各地的能源需求變化,進(jìn)行智能電能調(diào)度,平衡全網(wǎng)的電力供應(yīng)和需求,并對(duì)潛在危機(jī)做出快速響應(yīng)。中國(guó)智能電網(wǎng)業(yè)已在嘗試類似大數(shù)據(jù)預(yù)測(cè)應(yīng)用。
對(duì)于單個(gè)家庭來說則可以通過智能家居設(shè)備,記錄家庭成員的起居習(xí)慣,感知用戶的舒適度,預(yù)測(cè)用戶的溫控能耗需求,進(jìn)行智能的溫控裝置控制,還可結(jié)合階梯電價(jià)表來幫助用戶省錢。Nest正式基于大數(shù)據(jù)預(yù)測(cè)用戶能耗需求的成功產(chǎn)品。
除了上面列舉的10多個(gè)領(lǐng)域之外,大數(shù)據(jù)預(yù)測(cè)還可被應(yīng)用在房地產(chǎn)預(yù)測(cè)、就業(yè)情況預(yù)測(cè)、高考分?jǐn)?shù)線預(yù)測(cè)、選舉結(jié)果預(yù)測(cè)、奧斯卡大獎(jiǎng)?lì)A(yù)測(cè)、保險(xiǎn)投保者風(fēng)險(xiǎn)評(píng)估、金融借貸者還款能力評(píng)估等等,讓人類具備可量化有說服力可驗(yàn)證的洞察未來的能力,大數(shù)據(jù)預(yù)測(cè)的魅力正在釋放出來。