包括社交媒體、移動(dòng)端和云計(jì)算在內(nèi)，分析技術(shù)和相關(guān)數(shù)據(jù)技術(shù)已成為數(shù)字時(shí)代核心業(yè)務(wù)的顛覆者。隨著2017年企業(yè)開始從數(shù)據(jù)生成組織轉(zhuǎn)向數(shù)據(jù)驅(qū)動(dòng)組織，數(shù)據(jù)和分析已成為許多企業(yè)的工作重心。在2018年，這些技術(shù)需要開始實(shí)現(xiàn)其價(jià)值。以下是在未來(lái)一年將推動(dòng)數(shù)據(jù)分析戰(zhàn)略發(fā)展的一些方法、崗位角色和關(guān)注點(diǎn)。
數(shù)據(jù)湖需要體現(xiàn)其商業(yè)價(jià)值，否則死路一條
多年來(lái)，數(shù)據(jù)已經(jīng)在企業(yè)中不斷快速地積累。物聯(lián)網(wǎng)(IoT)只會(huì)隨著數(shù)據(jù)源從網(wǎng)絡(luò)端轉(zhuǎn)移到移動(dòng)端或設(shè)備端過程中加速數(shù)據(jù)的生成。
“這實(shí)際上迫切需要以具有成本效益的方式擴(kuò)展數(shù)據(jù)管道，”實(shí)時(shí)流數(shù)據(jù)平臺(tái)提供商DataTorrent首席執(zhí)行官Guy Churchward說。
對(duì)于許多企業(yè)來(lái)說，如果使用像Apache Hadoop這樣的技術(shù)為其提供業(yè)務(wù)支持，那么答案就是創(chuàng)建數(shù)據(jù)湖，即建立企業(yè)范圍的數(shù)據(jù)管理平臺(tái)，用來(lái)以本機(jī)格式存儲(chǔ)企業(yè)的所有數(shù)據(jù)。數(shù)據(jù)湖會(huì)通過提供一個(gè)單一的數(shù)據(jù)存儲(chǔ)庫(kù)來(lái)打破信息孤島，整個(gè)組織都可以使用該數(shù)據(jù)湖進(jìn)行各項(xiàng)應(yīng)用，包括業(yè)務(wù)分析和數(shù)據(jù)挖掘等。原始的和無(wú)人管理的數(shù)據(jù)湖已被視為一個(gè)全方位的和萬(wàn)能的大數(shù)據(jù)集。
但盡管數(shù)據(jù)湖已被證明可以存儲(chǔ)大量數(shù)據(jù)，但從這些數(shù)據(jù)中獲取可執(zhí)行洞察力已被證明是極為困難的。
“數(shù)據(jù)湖通過‘靜態(tài)’和‘批處理’時(shí)代的數(shù)據(jù)為企業(yè)提供了非常好的服務(wù)，”Churchward說。“早在2015年，人們就開始清晰地認(rèn)識(shí)到，這個(gè)架構(gòu)被過度使用，但現(xiàn)在它已經(jīng)成為實(shí)時(shí)數(shù)據(jù)分析的致命弱點(diǎn)。首先要存放數(shù)據(jù)，然后再立即進(jìn)行分析，這使企業(yè)處于極大的劣勢(shì)。當(dāng)人們希望獲得洞察力并盡快通過計(jì)算采取業(yè)務(wù)舉措時(shí)，而企業(yè)卻仍然依賴于陳舊的事件數(shù)據(jù)，這就會(huì)對(duì)企業(yè)的判斷力、業(yè)務(wù)舉措以及應(yīng)立即采取的補(bǔ)救措施造成不利影響。這一方面就證明了，“好東西”也會(huì)造成嚴(yán)重的戰(zhàn)略性錯(cuò)誤。”
Splice Machine公司首席執(zhí)行官蒙特·茲韋本(Monte Zweben)表示贊同。
“因?yàn)榛贖adoop的管道膠帶計(jì)算引擎很復(fù)雜，所以Hadoop時(shí)代的破滅將達(dá)到頂峰，許多公司因使用數(shù)據(jù)湖而慘敗，無(wú)法獲得投資回報(bào)，”茲韋本對(duì)2018年進(jìn)行預(yù)測(cè)，說道。
數(shù)據(jù)目錄專業(yè)公司--Alation的戰(zhàn)略和聯(lián)盟副總裁肯·黃(Ken Hoang)說，數(shù)據(jù)湖要想在2018年存在下去，將必須證明其具備商業(yè)價(jià)值。
“數(shù)據(jù)湖(即新的數(shù)據(jù)傾倒場(chǎng))在過去幾年中經(jīng)歷了實(shí)驗(yàn)性部署，除非它可以證明其自身具有價(jià)值，否則將不會(huì)被使用下去”，黃說道。“數(shù)據(jù)湖的一個(gè)成功標(biāo)志就是擁有一個(gè)企業(yè)目錄，該目錄具備信息發(fā)掘、人工智能和信息匯集功能，從而為企業(yè)提供新的見解。”
然而，黃并不認(rèn)為數(shù)據(jù)湖是完全失敗的產(chǎn)品。他預(yù)測(cè)數(shù)據(jù)湖和其他大型數(shù)據(jù)中心可以通過他稱之為“超級(jí)樞紐”的方式找到新的契機(jī)，該“樞紐”可通過機(jī)器學(xué)習(xí)提供“情境即服務(wù)”。
“在過去的25年，大型數(shù)據(jù)中心的部署(例如，數(shù)據(jù)倉(cāng)庫(kù)、主數(shù)據(jù)管理、數(shù)據(jù)湖、Salesforce和ERP系統(tǒng))導(dǎo)致產(chǎn)生更多難以讀懂、難以關(guān)聯(lián)，或難以共享的數(shù)據(jù)孤島，”黃說。“大型樞紐中心的中心將能夠使這些樞紐中心的數(shù)據(jù)資產(chǎn)關(guān)聯(lián)起來(lái)，從而實(shí)現(xiàn)情境即服務(wù)，這反過來(lái)將促進(jìn)獲取更多相關(guān)和強(qiáng)大的預(yù)測(cè)性洞察力，從而實(shí)現(xiàn)更快和更好的運(yùn)營(yíng)業(yè)務(wù)成果。”
MapR公司首席軟件應(yīng)用架構(gòu)師特德·鄧寧(Ted Dunning)預(yù)測(cè)會(huì)出現(xiàn)類似的轉(zhuǎn)變：隨著大數(shù)據(jù)系統(tǒng)在存儲(chǔ)、訪問和運(yùn)營(yíng)方面成為重點(diǎn)，企業(yè)將著眼于構(gòu)建全局?jǐn)?shù)據(jù)結(jié)構(gòu)，從而可以全面訪問來(lái)自多個(gè)來(lái)源的數(shù)據(jù)，并且可真正地為多租戶系統(tǒng)提供計(jì)算。
“我們將看到越來(lái)越多的企業(yè)利用數(shù)據(jù)流進(jìn)行計(jì)算，而不是僅僅處理數(shù)據(jù)，然后存入數(shù)據(jù)庫(kù)，”鄧寧說。“這些數(shù)據(jù)流收集了一些關(guān)鍵業(yè)務(wù)事件并可反映出業(yè)務(wù)結(jié)構(gòu)。統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)將成為構(gòu)建這些大規(guī)模數(shù)據(jù)流系統(tǒng)的基礎(chǔ)。”
自助服務(wù)數(shù)據(jù)分析專業(yè)公司Alteryx的首席戰(zhàn)略官蘭利·艾德(Langley Eide)表示，在數(shù)據(jù)湖實(shí)現(xiàn)其價(jià)值的過程中，IT人員并非孤軍作戰(zhàn)：在2018年業(yè)務(wù)線(LOB)分析師和首席數(shù)字官(CDO)也將必須負(fù)責(zé)。
艾德說：“大多數(shù)分析師并沒有利用這些在數(shù)據(jù)湖中大量存在的非結(jié)構(gòu)化資源(如點(diǎn)擊流數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)、日志數(shù)據(jù)等)，這主要是因?yàn)檫@些數(shù)據(jù)難以處理。但事實(shí)上，如果分析師不來(lái)處理這些數(shù)據(jù)的話，那么他們就沒有盡職。人們普遍認(rèn)為，許多數(shù)據(jù)湖是一些被低估的資產(chǎn)，人們不知道其含有什么數(shù)據(jù)，如何來(lái)訪問它，或者如何從這些數(shù)據(jù)中獲取洞察力。隨著更多的首席數(shù)字官和企業(yè)希望從他們的數(shù)據(jù)湖獲得更好的投資回報(bào)，這一現(xiàn)實(shí)將在2018年發(fā)生改變。”
艾德預(yù)測(cè)，2018年將會(huì)有分析師使用(如數(shù)據(jù)編目等)更多編程技巧和技術(shù)來(lái)替代一些(諸如Excel和SQL的)“強(qiáng)大”工具，以從數(shù)據(jù)中發(fā)掘和獲取更多價(jià)值。
首席數(shù)字官(CDO)將變得日益成熟
隨著新推動(dòng)力的出現(xiàn)，使我們能夠從數(shù)據(jù)中更好地獲取洞察力，艾德還預(yù)測(cè)首席數(shù)字官角色將在2018年獲得成功。
“數(shù)據(jù)本質(zhì)上就如同新的石油資源，而人們開始認(rèn)識(shí)到首席數(shù)字官是解決當(dāng)今企業(yè)最重要問題之一的關(guān)鍵角色，即從數(shù)據(jù)中獲取價(jià)值，”艾德說。“通常預(yù)算不到1000萬(wàn)美元，首席數(shù)字官所面臨的最大挑戰(zhàn)和機(jī)遇之一就是通過讓公司數(shù)據(jù)資產(chǎn)更貼近業(yè)務(wù)用戶，從而使備受追捧的自助服務(wù)變?yōu)楝F(xiàn)實(shí)。2018年，致力于在集中功能和業(yè)務(wù)線功能之間尋求平衡的首席數(shù)字官最終將陷入更大的預(yù)算中。”
艾德認(rèn)為，如果首席數(shù)字官能夠使資源、技能和功能在卓越中心和業(yè)務(wù)線之間迅速轉(zhuǎn)換，那么他將取得最大的成功。對(duì)此，艾德說，敏捷平臺(tái)和方法是關(guān)鍵。
數(shù)據(jù)管理員角色的崛起?
數(shù)據(jù)分析創(chuàng)業(yè)公司Dremio的首席執(zhí)行官兼共同創(chuàng)始人托莫·希蘭(Tomer Shiran)，是開源Apache Arrow項(xiàng)目的主要推動(dòng)者，他預(yù)測(cè)道，企業(yè)將對(duì)這一新角色產(chǎn)生需求，即數(shù)據(jù)管理員。
希蘭說，數(shù)據(jù)管理員處于數(shù)據(jù)使用者(即分析師和數(shù)據(jù)科學(xué)家，他們使用Tableau和Python等工具，利用數(shù)據(jù)來(lái)解答重要問題)和數(shù)據(jù)工程師(使用腳本語(yǔ)言、Spark、Hive和MapReduce在系統(tǒng)間移動(dòng)和轉(zhuǎn)換數(shù)據(jù)的人員)之間。為了勝任這一角色，數(shù)據(jù)管理員必須了解數(shù)據(jù)的含義以及掌握應(yīng)用于數(shù)據(jù)的一些技術(shù)。
“數(shù)據(jù)管理員應(yīng)清楚整個(gè)組織內(nèi)不同團(tuán)隊(duì)所需要執(zhí)行的分析類型，清楚哪些數(shù)據(jù)集最適合這項(xiàng)工作，以及掌握將數(shù)據(jù)從原始狀態(tài)轉(zhuǎn)換為相應(yīng)形態(tài)和形式所需的步驟，以滿足數(shù)據(jù)使用者工作的需要，”希蘭說。“數(shù)據(jù)管理者會(huì)使用一些系統(tǒng)(如自助服務(wù)數(shù)據(jù)平臺(tái)等)來(lái)加速數(shù)據(jù)使用者訪問基本數(shù)據(jù)集的端到端流程，而無(wú)需進(jìn)行大量的數(shù)據(jù)復(fù)制。”
數(shù)據(jù)治理戰(zhàn)略將成為所有高管的重要課題
歐盟的《通用數(shù)據(jù)保護(hù)條例》(GDPR)”將于2018年5月25日生效，它如同陰霾一樣籠罩在數(shù)據(jù)分析領(lǐng)域，但并非所有企業(yè)都為此做好準(zhǔn)備。
《通用數(shù)據(jù)保護(hù)條例》將直接適用于所有歐盟成員國(guó)，它將徹底改變企業(yè)處理個(gè)人數(shù)據(jù)的方式，企業(yè)必須征得歐盟公民的同意才能收集和處理其相關(guān)數(shù)據(jù)，美富律師事務(wù)所(Morrison&Foerster)全球隱私及數(shù)據(jù)安全工作組的律師們解釋道，其中包括：全球隱私工作組聯(lián)合主席Miriam Wugmeister、歐洲隱私專家Lokke Moerel和全球風(fēng)險(xiǎn)與危機(jī)管理集團(tuán)主席(美國(guó)司法部國(guó)家安全司前助理總檢察長(zhǎng))約翰·卡林。
“那些依賴于征得相關(guān)人同意才能進(jìn)行所有業(yè)務(wù)處理的公司將不能以這種方式繼續(xù)下去，而是需要具備其他法律依據(jù)(即必要的合同和合法權(quán)益)，”他們解釋說。“企業(yè)將需要實(shí)施一套全新的制度來(lái)進(jìn)行通知并獲得同意。”
盡管《通用數(shù)據(jù)保護(hù)條例》處罰金額可能會(huì)很高--行政處罰金額可高達(dá)2000萬(wàn)歐元或企業(yè)全年總營(yíng)業(yè)額的4%(以金額較高者為準(zhǔn))，但許多企業(yè)(特別是美國(guó)企業(yè))尚未對(duì)此有充分準(zhǔn)備。
“當(dāng)千年蟲問題來(lái)臨時(shí)，每個(gè)人都在為他們可能會(huì)或可能不會(huì)面臨的問題進(jìn)行準(zhǔn)備，”Hortonworks公司的首席技術(shù)官斯科特·格瑙 (Scott Gnau)說道。“今天，似乎沒有多少人為2018年5月即將實(shí)施的《通用數(shù)據(jù)保護(hù)條例》做好準(zhǔn)備。為什么會(huì)這樣呢?我們目前正處于這樣一個(gè)階段，每個(gè)組織都不僅要處理‘接下來(lái)的工作’，而且他們還要努力維持目前的工作和處理現(xiàn)在要解決的問題。許多組織可能都依賴首席安全官來(lái)制定規(guī)則、制度和指標(biāo)等，以幫助他們的全球系統(tǒng)集成商找出最佳的行動(dòng)方案。但這項(xiàng)工作讓一個(gè)人來(lái)承擔(dān)，這種期望是不現(xiàn)實(shí)的。”
格瑙說，為了正確執(zhí)行《通用數(shù)據(jù)保護(hù)條例》，這就要求高管們要對(duì)此充分了解，做好準(zhǔn)備并與組織內(nèi)各個(gè)方面進(jìn)行溝通。組織需要對(duì)其數(shù)據(jù)資產(chǎn)的整體治理工作進(jìn)行更好地處理。但是面對(duì)大規(guī)模的數(shù)據(jù)泄漏問題(例如2017年發(fā)生的Equifax公司泄漏事件)，這意味著他們要努力進(jìn)行平衡，既要為員工提供服務(wù)，可以自助訪問數(shù)據(jù)，同時(shí)還要保護(hù)這些數(shù)據(jù)免受潛在威脅。
因此，格瑙預(yù)測(cè)數(shù)據(jù)治理將成為2018年所有組織的重點(diǎn)工作。
“一個(gè)關(guān)鍵的目標(biāo)應(yīng)該是建立一種機(jī)制，它可以平衡數(shù)據(jù)、訪問、自助服務(wù)分析和監(jiān)管民主化，”格瑙說。“我們以安全的方式構(gòu)建數(shù)據(jù)，這將會(huì)對(duì)每個(gè)人產(chǎn)生影響，包括美國(guó)國(guó)內(nèi)和海外的客戶、媒體、合作伙伴等等。”
多云數(shù)據(jù)管理專家Veritas Technologies公司的解決方案營(yíng)銷總監(jiān)Zachary Bosin預(yù)測(cè)，美國(guó)某家公司將成為第一個(gè)依據(jù)《通用數(shù)據(jù)保護(hù)條例》受到處罰的企業(yè)。
“盡管截止日期日益臨近，但Veritas公司在全球范圍內(nèi)對(duì)企業(yè)進(jìn)行一項(xiàng)調(diào)查，其中只有31%的公司認(rèn)為他們符合《通用數(shù)據(jù)保護(hù)條例》標(biāo)準(zhǔn)，”Bosin說。“對(duì)違規(guī)行為的處罰是非常嚴(yán)厲的，而且這一規(guī)定將影響到任何與歐盟公民打交道的公司。”
元數(shù)據(jù)管理工作仍在不斷普及
當(dāng)然，這不僅僅是《通用數(shù)據(jù)保護(hù)條例》。數(shù)據(jù)洪流持續(xù)增長(zhǎng)，為此世界各國(guó)政府正在制定新的法規(guī)。在組織內(nèi)部，各個(gè)團(tuán)隊(duì)對(duì)數(shù)據(jù)的訪問量比以往任何時(shí)候都多。這一切都提升了數(shù)據(jù)治理以及數(shù)據(jù)質(zhì)量、數(shù)據(jù)集成和元數(shù)據(jù)管理的重要性。
“進(jìn)行元數(shù)據(jù)管理并確?！锻ㄓ脭?shù)據(jù)保護(hù)條例》等數(shù)據(jù)隱私法規(guī)融入到人工智能和物聯(lián)網(wǎng)等早期技術(shù)發(fā)展潮流中，但2018年出乎意料的趨勢(shì)將是數(shù)據(jù)管理技術(shù)的融合，”數(shù)據(jù)和分析軟件提供商Infogix的產(chǎn)品管理高級(jí)副總裁艾米莉·華盛頓(Emily Washington)說。“如果企業(yè)想要成功利用大數(shù)據(jù)和分析來(lái)創(chuàng)造更好的客戶體驗(yàn)，實(shí)現(xiàn)業(yè)務(wù)目標(biāo)，獲得競(jìng)爭(zhēng)優(yōu)勢(shì)，并最終成為市場(chǎng)領(lǐng)導(dǎo)者，那么他們就需要不斷地評(píng)估如何來(lái)簡(jiǎn)化整體技術(shù)堆棧。”
獲取有用的見解并提高運(yùn)營(yíng)效率，這需要使用靈活的集成工具，這些工具使用戶能夠快速采集、準(zhǔn)備、分析和管理數(shù)據(jù)，威廉姆斯說。元數(shù)據(jù)管理對(duì)于支持在企業(yè)數(shù)據(jù)環(huán)境中進(jìn)行數(shù)據(jù)治理、法規(guī)遵從性和滿足數(shù)據(jù)管理需求尤為重要。
預(yù)測(cè)分析有助于提高數(shù)據(jù)質(zhì)量
隨著數(shù)據(jù)項(xiàng)目投入生產(chǎn)，數(shù)據(jù)質(zhì)量越來(lái)越受到關(guān)注。而隨著物聯(lián)網(wǎng)進(jìn)一步發(fā)展，情況尤其如此。Infogix公司表示，2018年各個(gè)組織將轉(zhuǎn)向使用機(jī)器學(xué)習(xí)算法，以加強(qiáng)數(shù)據(jù)質(zhì)量異常檢測(cè)。通過使用歷史模式來(lái)預(yù)測(cè)未來(lái)的數(shù)據(jù)質(zhì)量結(jié)果，企業(yè)可以動(dòng)態(tài)檢測(cè)可能會(huì)被忽略的異常數(shù)據(jù)，或者可能之后只會(huì)通過人工干預(yù)來(lái)發(fā)現(xiàn)異常數(shù)據(jù)。
“隨著更多數(shù)據(jù)通過物聯(lián)網(wǎng)等技術(shù)而產(chǎn)生，對(duì)其管理和利用變得越來(lái)越困難，”華盛頓說。 “集成的自助服務(wù)工具為企業(yè)數(shù)據(jù)格局提供了一個(gè)全面的視角，從而我們可做出有意義的和及時(shí)的決策。對(duì)于成功實(shí)施數(shù)據(jù)分析計(jì)劃，解決數(shù)據(jù)治理和隱私需求，貨幣化數(shù)據(jù)資產(chǎn)，以及我們成功進(jìn)入2018年，企業(yè)數(shù)據(jù)資產(chǎn)的完全透明是至關(guān)重要的。”
版權(quán)聲明：本文為企業(yè)網(wǎng)D1Net編譯，轉(zhuǎn)載需注明出處為：企業(yè)網(wǎng)D1Net，如果不注明出處，企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。
京公網(wǎng)安備 11010502049343號(hào)