大數(shù)據(jù)“沙箱”項目實施中必須知道的幾件事

責任編輯:editor004

2013-10-26 23:19:31

來源:企業(yè)網(wǎng)D1Net

原創(chuàng)

現(xiàn)在,企業(yè)開始越來越關注大數(shù)據(jù)在企業(yè)中的應用,如何通過數(shù)據(jù)分析和數(shù)據(jù)挖掘讓數(shù)據(jù)產(chǎn)生價值和為企業(yè)制定決策提供依據(jù)

《企業(yè)網(wǎng)D1Net》10月26日訊

現(xiàn)在,企業(yè)開始越來越關注大數(shù)據(jù)在企業(yè)中的應用,如何通過數(shù)據(jù)分析和數(shù)據(jù)挖掘讓數(shù)據(jù)產(chǎn)生價值和為企業(yè)制定決策提供依據(jù),然而這些如何在一個安全的“沙箱”測試環(huán)境中對數(shù)據(jù)處理和查詢能力進行實驗,這對于企業(yè)IT部門和最終用戶至關重要。以下是10個實施沙箱項目的注意事項。

1、數(shù)據(jù)集市還是主數(shù)據(jù)庫?

數(shù)據(jù)庫管理員需要從早期就做出決定,決定是讓測試沙箱使用直接來自生產(chǎn)用的主數(shù)據(jù)庫中的數(shù)據(jù),亦或者最佳解決方案是將這些數(shù)據(jù)復制或者片段剝離到獨立的數(shù)據(jù)集市中,僅供測試使用。完整數(shù)據(jù)庫的好處是,可以測試用于生產(chǎn)中實際使用的數(shù)據(jù),這樣測試結(jié)果更加精確。缺點是,可能會和生產(chǎn)本身產(chǎn)生數(shù)據(jù)沖突。有了數(shù)據(jù)集市的戰(zhàn)略,你不用冒著與生產(chǎn)數(shù)據(jù)發(fā)生沖突的風險,但是可能需要定期更新數(shù)據(jù),以保持與生產(chǎn)數(shù)據(jù)的同步,更加接近于生產(chǎn)環(huán)境。

2、工作日程

日程安排是大數(shù)據(jù)沙箱活動最重要的一件事,這確保了所有沙箱操作都是在最佳狀態(tài)下運行的,可通過同時安排一組較小的任務和一個更大的任務同時運行來實現(xiàn)。對于IT來說,這個過程的關鍵是坐下來和各種使用沙箱的用戶進行交流,這樣每個人都對日程安排有一個前期的了解,并清楚其背后的原理以及他們的工作期待運行時間。

3、設置限制

如果幾個月的時間過去了卻沒有使用一個特定的數(shù)據(jù)集市或者沙箱,那么企業(yè)用戶及IT部門就應該制訂一個可接受的策略以凈化這些資源,這樣就能重新放到一個可以針對其他活動重新配置的資源池中。這個測試環(huán)境應該和生產(chǎn)環(huán)境一樣被有效管理起來,這樣資源只有正處于使用狀態(tài)的時候才會被調(diào)用。

4、使用純凈數(shù)據(jù)

大數(shù)據(jù)管道工作的一個前提,應該是準備好數(shù)據(jù)并凈化數(shù)據(jù),這樣在應用數(shù)據(jù)集市解決方案時,才能確保數(shù)據(jù)具備用于測試的質(zhì)量。在一個不完整、不準確、甚至是遭到破壞的測試環(huán)境中使用數(shù)據(jù)是一個壞習慣——因為數(shù)據(jù)在放到測試區(qū)域之前并不安全。要學會摒棄這些壞習慣。

5、監(jiān)控資源

假設大數(shù)據(jù)資源都集中在數(shù)據(jù)中心內(nèi),IT部門應該設置資源權限并監(jiān)控沙箱使用率。一個需要經(jīng)常密切關注的問題是:隨著加入沙箱活動的終端用戶部門越來越多,會導致出現(xiàn)過量配置的問題。

6、注意項目重疊問題

在某些時候,成立一個跟蹤整個公司內(nèi)各種正在進行中的沙箱項目的“監(jiān)督委員會”是很有必要的,這樣可以確保不會出現(xiàn)重疊或者冗余的項目。

7、嘗試將計算資源交給IT部門集中管理

有些企業(yè)做大數(shù)據(jù)項目,先從特定的一些部門開始,然后馬上會發(fā)現(xiàn)他們對付不了大數(shù)據(jù),接著又去做他們自己的日常功能工作,管理計算資源。最終,他們把設備搬到數(shù)據(jù)中心,讓IT部門自行管理。這讓他們把精力專注在業(yè)務上,這也是大數(shù)據(jù)可以帶來的價值。

8、組建大數(shù)據(jù)團隊

即使在沙箱的測試項目中,讓處理大數(shù)據(jù)的專業(yè)團隊來輔助完成任務也是很重要的。通常情況下,這個團隊應當由業(yè)務分析師、數(shù)據(jù)科學家以及一名具備軟硬件資源優(yōu)化能力、能與數(shù)據(jù)庫專家協(xié)作的IT專家組成。

9、不要忘記業(yè)務價值目標

在將創(chuàng)新的想法融入進沙箱項目中時,不要完全忘記了最初的業(yè)務價值目標是什么。

10、明確大數(shù)據(jù)沙箱的定義

很多來自終端企業(yè)的參與者并不知道“沙箱”意味著什么。與早期的沙箱一樣,大數(shù)據(jù)沙箱的目的是自由發(fā)揮,做與大數(shù)據(jù)相關的實驗——但這是帶有一定的目的性的。這個有目的的項目應該遵守沙箱實驗的基本規(guī)則,例如什么時候、在哪兒以及如何使用沙箱,用實驗與測試給企業(yè)帶來有意義、有商業(yè)價值的結(jié)果。

D1Net評論:

隨著企業(yè)越來越關注大數(shù)據(jù),能夠在一個安全的“沙箱”測試環(huán)境中對數(shù)據(jù)處理和查詢能力進行實驗,這對于企業(yè)IT部門與最終用戶來說都是非常重要的。然而,建立一個安全、合適的大數(shù)據(jù)沙箱測試環(huán)境,和創(chuàng)建一個針對交易型數(shù)據(jù)及報告的傳統(tǒng)測試環(huán)境是不同的。

鏈接已復制,快去分享吧

企業(yè)網(wǎng)版權所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號