這一狀況是如何形成的
要理解這種預(yù)期的不協(xié)調(diào),要先看看我們是如何走到一這步的。在90年代,數(shù)據(jù)倉庫運動的主要目標是通過解決單一版本的事實滿足機構(gòu)的需求。
這需要仔細調(diào)和不同用戶和部門之間對數(shù)據(jù)的解釋,以至于每個人都可以達成共識。此外,有嚴格的數(shù)據(jù)質(zhì)量檢查,所以決策者對數(shù)據(jù)有信心。
因為大規(guī)模并行處理解決方案(比如Hadoop和列式數(shù)據(jù)存儲或云)在90年代并不普遍,數(shù)據(jù)模型必須由專家進行設(shè)計,優(yōu)化和維護以獲得良好表現(xiàn)。
這些因素阻礙了讓新類型的數(shù)據(jù)進入數(shù)據(jù)倉庫,并經(jīng)常導(dǎo)致昂貴,多年的程序,最終只有非常有限的效用。
今天,對單一版本企業(yè)級數(shù)據(jù)的需要不再是存儲歷史數(shù)據(jù)的主要目標。用戶想要完全訪問所有數(shù)據(jù)并與之交互的能力,能夠快速提取洞察并釋放數(shù)據(jù)的威力。
為了達到這個目標,政府的數(shù)據(jù)管理工作的焦點需要從數(shù)據(jù)倉庫轉(zhuǎn)移到數(shù)據(jù)管理。
超越數(shù)據(jù)倉庫
在我們當前的大數(shù)據(jù)的時代,單一企業(yè)的數(shù)據(jù)解釋已經(jīng)過時。舊的數(shù)據(jù)倉庫時代專注于企業(yè)數(shù)據(jù)模型對數(shù)據(jù)屬性創(chuàng)建固定的意義。數(shù)據(jù)倉庫用戶直接根據(jù)自己部門的需求過濾數(shù)據(jù)。
今天,在私營和政府部門預(yù)測分析的用途不斷得到證明,我們必須重新審視企業(yè)的傳統(tǒng)數(shù)據(jù)模型。
具體地說,我們應(yīng)該接受使用模式,預(yù)測能力和數(shù)據(jù)屬性的意義可以進化,隨著機構(gòu)在挖掘其數(shù)據(jù)變得更加成熟,在其領(lǐng)域部署預(yù)測模型并反饋性能結(jié)果完善模型,同時機構(gòu)外部的事情也會影響其優(yōu)先級。重要的區(qū)別如何使用數(shù)據(jù)。
數(shù)據(jù)管理的區(qū)別
數(shù)據(jù)管理不同于傳統(tǒng)的數(shù)據(jù)倉庫。一個監(jiān)管的數(shù)據(jù)存儲是對數(shù)據(jù)用戶的平臺,它不必告訴用戶如何使用或解釋數(shù)據(jù)。數(shù)據(jù)用戶使這些數(shù)據(jù)變得更有價值和有意義,例如,利用統(tǒng)計學習技術(shù)預(yù)測欺詐、不合規(guī)或病毒爆發(fā)等新興趨勢。
數(shù)據(jù)屬性的重要性和意義是由多個使用數(shù)據(jù)的模型的預(yù)測能力所決定的,而這些“意義”可以反饋到監(jiān)管的數(shù)據(jù)存儲,因此它可以成為共享的企業(yè)資產(chǎn)。
這一過程使中央權(quán)威(又名數(shù)據(jù)管理員)不必是唯一的仲裁者或監(jiān)管數(shù)據(jù)的瓶頸,這非常不同于90年代的傳統(tǒng)數(shù)據(jù)倉庫生命周期。
政府可以從這些數(shù)據(jù)倉庫經(jīng)驗和90年代的問題中學習,包括技術(shù)所扮演的角色。當時,很難引入新的數(shù)據(jù)到數(shù)據(jù)倉庫,并讓大型數(shù)據(jù)庫在實時分析中表現(xiàn)良好。
盡管今天的技術(shù)減少了對數(shù)據(jù)模型精細調(diào)整的需要,我們卻不能簡單地扔掉數(shù)據(jù)建模和創(chuàng)建一個數(shù)據(jù)湖。正如有許多專家指出,數(shù)據(jù)湖可以迅速變成一個數(shù)據(jù)沼澤。這就是為什么數(shù)據(jù)管理是必要和重要的。
從數(shù)據(jù)倉庫過渡到管理還包括用戶行為的變化。當監(jiān)管數(shù)據(jù)呈現(xiàn)給用戶時,對它們的預(yù)期會更多,而不僅僅是過濾的罐裝報告。
數(shù)據(jù)管理歸結(jié)為提供現(xiàn)成的數(shù)據(jù)。即用戶知道數(shù)據(jù)元素的意思,他們從哪里來的,如何探索和挖掘它們,以及如何形成可行的洞察。讓用戶有能力和自由即時探索需要在用戶和監(jiān)管數(shù)據(jù)平臺的維護者之間有不同的交往模式。
雙方都需要新的技能。IT需要構(gòu)建專業(yè)知識使數(shù)據(jù)以用戶友好的方式獲得——是明顯不同于交付用戶友好的應(yīng)用程序和網(wǎng)站的專業(yè)知識。用戶需要獲得技能用更現(xiàn)代的方式與數(shù)據(jù)交互。用戶需要比標準“工具培訓(xùn)”更多的學習。IT和用戶需要體驗現(xiàn)代數(shù)據(jù)挖掘和數(shù)據(jù)開采工具結(jié)合在一起的威力,在他們機構(gòu)設(shè)置的數(shù)據(jù)。
這樣做會讓IT有信心從創(chuàng)造完全規(guī)范的獨立應(yīng)用程序轉(zhuǎn)而創(chuàng)建數(shù)據(jù)平臺,而用戶反過來會降低他們對昂貴的用例特定應(yīng)用程序的胃口。
這種業(yè)務(wù)和IT之間關(guān)系的改變是唯一使預(yù)測分析變得民主化并幫助使政府更迅速和更有效地應(yīng)對挑戰(zhàn)的方式。