大數(shù)據(jù)分析建模的背景
隨著企業(yè)信息化的逐步深入，大量信息系統(tǒng)在企業(yè)中廣泛應用，物聯(lián)網(wǎng)、云計算、工業(yè)互聯(lián)網(wǎng)等技術與企業(yè)經(jīng)營生產(chǎn)緊密結合，設備運行、生產(chǎn)加工、測試試驗等數(shù)據(jù)采集過程更加自動化，企業(yè)積累了大量的數(shù)據(jù)，包括產(chǎn)品銷售數(shù)據(jù)、客戶消費數(shù)據(jù)、客戶行為數(shù)據(jù)、企業(yè)運營數(shù)據(jù)等，企業(yè)經(jīng)營生產(chǎn)的各個階段都可以被記錄下來，產(chǎn)品銷售的各個環(huán)節(jié)也被記錄下來，客戶的消費行為和網(wǎng)上行為都被采集下來，這些數(shù)據(jù)隱藏著大量的有價值的規(guī)律和信息，是企業(yè)的重要資產(chǎn)。
另一方面，傳統(tǒng)的數(shù)據(jù)報表、即席查詢等簡單分析手段已無法滿足企業(yè)對于深層次信息的挖掘需求，大數(shù)據(jù)融合、大數(shù)據(jù)分析、大數(shù)據(jù)挖掘等技術不斷發(fā)展，漏斗分析、事件分析、行為分析、留存分析、屬性分析等模型不斷完善，神經(jīng)網(wǎng)絡、決策樹、關聯(lián)規(guī)則等挖掘算法不斷成熟，基于Hadoop、HDFS的分布式存儲技術以及基于Storm、Spark、MapReduce等分布式計算技術迅猛發(fā)展，為大數(shù)據(jù)分析處理及分析建模提供了堅實的技術支撐。
大數(shù)據(jù)分析建模步驟
企業(yè)開展大數(shù)據(jù)分析，首先應開展業(yè)務調研和數(shù)據(jù)調研工作，明確分析需求，其次應開展數(shù)據(jù)準備工作，即選擇數(shù)據(jù)源、進行數(shù)據(jù)抽樣選擇、數(shù)據(jù)類型選擇、缺失值處理、異常值檢測和處理、數(shù)據(jù)標準化、數(shù)據(jù)簇分類、變量選擇等，再次應進行數(shù)據(jù)處理工作，即進行數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)轉換等工作，最后開展數(shù)據(jù)分析建模及展現(xiàn)工作。大數(shù)據(jù)分析建模需要進行5個步驟，即選擇模型、訓練模型、評估模型、應用模型、優(yōu)化模型結構。
選擇模型----訓練模型-----評估模型----應用模型----優(yōu)化模型
1. 選擇分析模型：基于收集到的業(yè)務需求、數(shù)據(jù)需求等信息，研究決定選擇具體的模型，如行為事件分析、漏斗分析、留存分析、分布分析、點擊分析、用戶行為分析、分群分析、屬性分析等模型，以便更好地切合具體的應用場景和分析需求。
2. 訓練分析模型：每個數(shù)據(jù)分析模型的模式基本是固定的，但其中存在一些不確定的參數(shù)變量或要素在里面，通過其中的變量或要素適應變化多端的應用需求，這樣模型才會有通用性。企業(yè)需要通過訓練模型找到最合適的參數(shù)或變量要素，并基于真實的業(yè)務數(shù)據(jù)來確定最合適的模型參數(shù)。
3. 評估分析模型：需要將具體的數(shù)據(jù)分析模型放在其特定的業(yè)務應用場景下(如物資采購、產(chǎn)品銷售、生產(chǎn)制造等)對數(shù)據(jù)分析模型進行評估，評價模型質量的常用指標包括平均誤差率、判定系數(shù)，評估分類預測模型質量的常用指標包括正確率、查全率、查準率、ROC曲線和AUC值等。
4. 應用分析模型：對數(shù)據(jù)分析模型評估測量完成后，需要將此模型應用于業(yè)務基礎的實踐中去，從分布式數(shù)據(jù)倉庫中加載主數(shù)據(jù)、主題數(shù)據(jù)等，通過數(shù)據(jù)展現(xiàn)等方式將各類結構化和非結構化數(shù)據(jù)中隱含的信息顯示出來，用于解決工作中的業(yè)務問題的，比如預測客戶行為、科學劃分客戶群等。
5. 優(yōu)化分析模型：企業(yè)在評估數(shù)據(jù)分析模型中，如果發(fā)現(xiàn)模型欠擬合或過擬合，說明這個模型有待優(yōu)化;在真實應用場景中，定期進行優(yōu)化，或者當發(fā)現(xiàn)模型在真實的業(yè)務場景中效果不好時，也要啟動優(yōu)化，具體優(yōu)化的措施可考慮重新選擇模型、調整模型參數(shù)、增加變量因子等。
大數(shù)據(jù)分析建模建議
數(shù)據(jù)分析建模是企業(yè)大數(shù)據(jù)應用的重要基礎，通過建模不僅有效地組織了原始數(shù)據(jù)，而且為數(shù)據(jù)展現(xiàn)提供了重要支撐，企業(yè)在開展數(shù)據(jù)分析建模過程中應注意以下幾點：
1. 重視需求牽引作用，深化業(yè)務問題解決
企業(yè)應結合業(yè)務發(fā)展目標，梳理經(jīng)營生產(chǎn)過程中的瓶頸問題，以問題為導向，重視業(yè)務需求調研工作，清理業(yè)務流程和業(yè)務數(shù)據(jù)，研究數(shù)據(jù)來源、采集通道和映射關系，深入梳理數(shù)據(jù)基礎，不斷推進業(yè)務問題的解決并構建合理的業(yè)務架構。
2. 加大數(shù)據(jù)積累力度，夯實數(shù)據(jù)體系基礎
企業(yè)應深化信息系統(tǒng)應用，提升業(yè)務流程和業(yè)務數(shù)據(jù)上線力度，深化物聯(lián)網(wǎng)、云計算等新興技術應用，提高數(shù)據(jù)采集效率，豐富數(shù)據(jù)積累力度;完善主數(shù)據(jù)、主題數(shù)據(jù)、數(shù)據(jù)建模等標準規(guī)范，構建包含業(yè)務、指標、報表等的數(shù)據(jù)體系，夯實數(shù)據(jù)體系基礎。
3. 加大人員隊伍建設，提高技術支撐能力
大數(shù)據(jù)分析建模是數(shù)據(jù)到信息轉變的重要支撐，也是凸顯數(shù)據(jù)價值實現(xiàn)的重要環(huán)節(jié)，企業(yè)應加強業(yè)務需求調研與業(yè)務架構優(yōu)化，夯實數(shù)據(jù)基礎和應用基礎，不斷選擇、訓練、評估、應用和優(yōu)化模型，不斷推進大數(shù)據(jù)分析建模的應用，為轉型升級奠定堅實基礎。
企業(yè)應加大技術專家、業(yè)務專家、數(shù)據(jù)分析師、數(shù)據(jù)管理員、運營專家等專業(yè)人員的培養(yǎng)，調動業(yè)務部門參與數(shù)據(jù)分析的積極性和主動性。同時加大數(shù)據(jù)分析、數(shù)據(jù)建模、數(shù)據(jù)挖掘技術儲備、技術工具庫和模型庫建設，提高技術支撐能力。
京公網(wǎng)安備 11010502049343號