如今，大多數(shù)人認(rèn)為在大數(shù)據(jù)時代，人們總是有足夠多的信息來建立強大的分析，然而事實并非如此。在某些情況下，即便是大量的數(shù)據(jù)也仍然不支持基本預(yù)測的正常進(jìn)行。很多時候,我們并沒有太多可以做到的事情，除了承認(rèn)事實和堅持基本知識。這是大數(shù)據(jù)不能被用來預(yù)測的挑戰(zhàn)，似乎也是一個不可能的悖論，但是卻引來人們探討為什么會是這樣。

情景1：大數(shù)據(jù)，小宇宙

舉一個例子，當(dāng)事物很少卻有大量的數(shù)據(jù)時，很難找到有意義的模式。以一家航空公司的制造商為例，如今，每架飛機(jī)每小時運行產(chǎn)生上千兆字節(jié)的數(shù)據(jù)。諸如發(fā)動機(jī)在不同條件下操作，分析這些操作數(shù)據(jù)有很多好處。然而這對于一些分析行為來說可能很困難，如預(yù)測性維護(hù)。這是為什么?

人們意識到，即使是最大的飛機(jī)制造商，每年也只能生產(chǎn)出幾百架飛機(jī)。在考慮不同模型的時候，一年中可能只有幾十個模型被生產(chǎn)出來?？v使飛機(jī)全部裝滿傳感器，也很難開發(fā)有意義的預(yù)測部件故障模型。為什么?因為只有幾十或幾百架飛機(jī)，樣品的數(shù)量太小。

特別是對于新飛機(jī)來說，這種情況還會加劇一些問題的出現(xiàn)(例如發(fā)動機(jī)或發(fā)動機(jī)部件之類的故障率較低)。因此，盡管可以在幾年的操作中收集PB的數(shù)據(jù)，但是可能沒有足夠的飛機(jī)來創(chuàng)建足夠大的事件池，從而構(gòu)建真正有效的預(yù)測模型。當(dāng)然，人們可以監(jiān)測數(shù)據(jù)，尋找支持調(diào)查或干預(yù)的異常模式，但是這不是一個預(yù)測模型。

情景2：大數(shù)據(jù)，大宇宙，令人難以置信的罕見事件

還有其它情況，那就是有大量的人或事物需要分析大量的數(shù)據(jù)。然而，當(dāng)事件非常罕見時，仍然可能遇到一種情況，即沒有足夠的樣本來構(gòu)建真正有效的預(yù)測模型。這并不是說，人們在分析數(shù)據(jù)和理解行為的各個方面沒有很多價值。它只是說，有可能不能建立有效的預(yù)測模型。

讓我們考慮一下計算機(jī)芯片的生產(chǎn)情況。全球每年產(chǎn)生數(shù)億甚至數(shù)十億片芯片，并且其速度在不斷加快。幾十年前，一千個或一萬個的數(shù)量級缺陷可能是可以接受的。對于當(dāng)今的芯片產(chǎn)品，其缺陷可能需要更接近百萬級。曾經(jīng)有客戶提出，汽車行業(yè)面臨著壓力，需要將芯片缺陷率降低到十億分之一或更低。這是為什么?主要是因為如果實現(xiàn)這種低錯誤率，并且人們可以假設(shè)導(dǎo)致有缺陷芯片存在的原因，則對于任何特定的一組原因，其發(fā)生任何缺陷的實例會變少，人們可能沒有足夠的樣本來分析，但能夠產(chǎn)生良好的模型以預(yù)測這些失敗可能發(fā)生的時間和地點。人們考慮到芯片技術(shù)將隨著時間的推移而過時，在短短幾年內(nèi)被更新的產(chǎn)品所替代，因此，這可能是一個持續(xù)時間比較久的問題。

不要絕望，做好準(zhǔn)備

請記住，在這里提出的問題并不是什么規(guī)則，而只是樣本。然而，隨著人們收集數(shù)據(jù)的來源越來越多，企業(yè)開始考慮用越來越多的因素來分析業(yè)務(wù)，這些異常樣本肯定會出現(xiàn)在組織內(nèi)部。重要的是，人們只需要關(guān)注一個非常小的宇宙來分析，或者通過一個令人難以置信的稀有事件來分析。更糟糕的是，這種罕見事件是小宇宙中的。假設(shè)只考慮數(shù)據(jù)與業(yè)務(wù)問題相關(guān)的情況，而那些不相關(guān)的數(shù)據(jù)將永遠(yuǎn)不會增加價值，無論其數(shù)量多么大或多么小。

當(dāng)人們不確定自己的數(shù)據(jù)是否是有效預(yù)測時，請確保在用于開發(fā)數(shù)據(jù)的復(fù)雜分析之前投入更多精力，其評估可能是可行的。在某些情況下，人們可能需要解決基本分析問題。然而，重要的是要記住，這種情況應(yīng)該比沒有任何數(shù)據(jù)來分析更好。