激活大數(shù)據(jù)應(yīng)用 從“瘦身”做起

責(zé)任編輯:zsheng

2018-06-06 21:28:39

摘自:e-works

隨著國家將大數(shù)據(jù)戰(zhàn)略提升到國家戰(zhàn)略高度,將大數(shù)據(jù)視為經(jīng)濟發(fā)展和轉(zhuǎn)型的重要科技依據(jù),越來越多的企業(yè)組織已將數(shù)據(jù)視為重要資產(chǎn),著手開展數(shù)字化轉(zhuǎn)型的系列舉措,以期全面提升客戶體驗,推動經(jīng)濟增長。

隨著國家將大數(shù)據(jù)戰(zhàn)略提升到國家戰(zhàn)略高度,將大數(shù)據(jù)視為經(jīng)濟發(fā)展和轉(zhuǎn)型的重要科技依據(jù),越來越多的企業(yè)組織已將數(shù)據(jù)視為重要資產(chǎn),著手開展數(shù)字化轉(zhuǎn)型的系列舉措,以期全面提升客戶體驗,推動經(jīng)濟增長。

從供給面來看,當今和可預(yù)見的未來,大數(shù)據(jù)、云計算、人工智能等技術(shù)都將快速發(fā)展并被廣泛應(yīng)用,企業(yè)已經(jīng)認識到數(shù)字化轉(zhuǎn)型的可行性和必要性,著手建立企業(yè)自身駕馭數(shù)據(jù)的能力。這其中,數(shù)據(jù)分析能力的建設(shè)顯得尤為關(guān)鍵,它是激活數(shù)據(jù)資產(chǎn)動能、實現(xiàn)大數(shù)據(jù)價值、推動數(shù)字化轉(zhuǎn)型不可或缺的核心力量。

對于制造企業(yè)而言,數(shù)據(jù)貫穿著整個產(chǎn)品生命周期,從客戶需求到概念設(shè)計、詳細設(shè)計、工藝設(shè)計、仿真試驗、生產(chǎn)制造到售后服務(wù)全過程。特別是生產(chǎn)制造環(huán)節(jié),工廠底層包含了條形碼、二維碼、RFID、工業(yè)傳感器、PLC以及SCADA等控制系統(tǒng),它們無時無刻不在產(chǎn)生數(shù)據(jù)。然而生產(chǎn)環(huán)境中收集的數(shù)據(jù)多以時間序列模擬流程變量,數(shù)據(jù)的類型是單一的,很容易建立索引,因此這也是為什么數(shù)據(jù)僅僅量大是不夠的,我們通常談到的制造業(yè)大數(shù)據(jù)分析是指將不同信息化層級之間的結(jié)構(gòu)性系統(tǒng)數(shù)據(jù)與非結(jié)構(gòu)性數(shù)據(jù)結(jié)合。

在面對紛雜繁亂的數(shù)據(jù)時,為創(chuàng)建敏捷的數(shù)據(jù)平臺企業(yè)需要將傳統(tǒng)的數(shù)據(jù)倉庫結(jié)構(gòu)和方法轉(zhuǎn)換為一個為靈活性而創(chuàng)建、更加平衡和分散的框架。將數(shù)據(jù)存儲在企業(yè)數(shù)據(jù)倉庫中顯然是不夠的,而煙囪式的數(shù)據(jù)集市也存在由于混亂和錯誤而破壞整個系統(tǒng)的風(fēng)險。事實上,如今大部分企業(yè)構(gòu)建的數(shù)據(jù)集市都是基于SQL、NoSQL、數(shù)據(jù)庫、文件系統(tǒng)或類似技術(shù)。無論是否為開源、是否為傳統(tǒng)系統(tǒng),巨大的獨立數(shù)據(jù)建立在諸如Hadoop這樣的平臺上,能夠達到PB級的數(shù)據(jù)規(guī)模,如果不能加以整合優(yōu)化,在進行數(shù)據(jù)分析無疑對企業(yè)是一場“災(zāi)難”。

因此,企業(yè)在進行數(shù)據(jù)分析時,數(shù)據(jù)架構(gòu)必須在不同復(fù)雜度的多個層次上呈現(xiàn)信息,并劃分不同的信息通道和相應(yīng)的使用角色,這樣就可以把不同類型的用戶疊加到同一份數(shù)據(jù)上,讓不同的用戶在他們所熟悉的場景下使用數(shù)據(jù)。在Teradata描繪的分層數(shù)據(jù)架構(gòu)中,依據(jù)數(shù)據(jù)的顆粒度可分為緩沖層、整合層、計算層、匯聚層、展現(xiàn)層和數(shù)據(jù)實驗室。

其中最底層的緩沖層需要盡可能的反映源系統(tǒng)的表現(xiàn)形式,包括數(shù)據(jù)類型和結(jié)構(gòu)的沿襲。例如,生產(chǎn)數(shù)據(jù)和財務(wù)數(shù)據(jù)不能變成文本,否則就會讓數(shù)據(jù)的真實度過早地被破壞掉。緩沖層的數(shù)據(jù)可以被企業(yè)中大多數(shù)的數(shù)據(jù)工程師或數(shù)據(jù)科學(xué)家所訪問。不同于獨立的數(shù)據(jù)湖,緩沖層必須是企業(yè)級可拓展的,能夠讓成百上千的用戶和進程同時訪問和處理數(shù)據(jù)。

越往分層數(shù)據(jù)架構(gòu)上層走,預(yù)定義結(jié)構(gòu)的數(shù)據(jù)就越多,基于此的分析就越容易被企業(yè)中更多的人所理解。當?shù)竭_展現(xiàn)層后,企業(yè)可以提供發(fā)布數(shù)據(jù)的API接口,它們具有結(jié)構(gòu)化、同一版本控制、向下兼容的特性,并提供給任何授權(quán)的用戶和應(yīng)用訪問程序。最后,數(shù)據(jù)實驗室是用戶自己主導(dǎo)的數(shù)據(jù)沙盒,用來支持探索實驗和自助服務(wù)。

經(jīng)過分層架構(gòu)能使企業(yè)以數(shù)據(jù)的最細顆粒度形式分散數(shù)據(jù)的框架,這使我們能夠?qū)徱晹?shù)據(jù)的各種用途并將數(shù)據(jù)按照不同復(fù)雜度級別進行重構(gòu)。在這里,專業(yè)的數(shù)據(jù)科學(xué)家可以對原始數(shù)據(jù)進行研究,將原始數(shù)據(jù)和現(xiàn)有數(shù)據(jù)建立起聯(lián)系,編寫初始算法發(fā)現(xiàn)更多的模式特征,進而進行整合和結(jié)構(gòu)化處理,從而減少數(shù)據(jù)重復(fù)并確保在不同維度的應(yīng)用一致性,為今后提升對于數(shù)據(jù)調(diào)整、治理、管理和數(shù)據(jù)集成能力打下基礎(chǔ)。

《國務(wù)院關(guān)于印發(fā)促進大數(shù)據(jù)發(fā)展行動綱要的通知》中指出,數(shù)據(jù)已成為國家基礎(chǔ)性戰(zhàn)略資源,大數(shù)據(jù)產(chǎn)業(yè)正成為新的經(jīng)濟增長點,將對未來信息產(chǎn)業(yè)格局產(chǎn)生重要影響。對于企業(yè)而言,通過保持細顆粒度的數(shù)據(jù)在企業(yè)內(nèi)外的敏捷傳播,將是企業(yè)應(yīng)用大數(shù)據(jù)、將洞察力落地為行動的必要條件之一。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號