數(shù)據(jù)的指數(shù)級(jí)增長(zhǎng)促使研究人員尋找新的方式來(lái)觀察和分析世界。它是關(guān)于發(fā)現(xiàn)捕獲、搜索、共享、存儲(chǔ)、分析、呈現(xiàn)數(shù)據(jù)的新數(shù)量級(jí)。“大數(shù)據(jù)”就是這樣誕生的。大數(shù)據(jù)是在數(shù)字基礎(chǔ)上存儲(chǔ)大量信息的概念。
大數(shù)據(jù)是指非常大的數(shù)據(jù)集，傳統(tǒng)的數(shù)據(jù)庫(kù)管理或信息管理工具對(duì)其無(wú)法真正發(fā)揮作用。實(shí)際上，人們每天產(chǎn)生大約2.5萬(wàn)億字節(jié)的數(shù)據(jù)。這些數(shù)據(jù)來(lái)自不同的平臺(tái)：人們發(fā)送的消息、發(fā)布的視頻、天氣信息、GPS信號(hào)、在線交易購(gòu)物記錄等。這些數(shù)據(jù)稱為大數(shù)據(jù)或海量數(shù)據(jù)。雅虎、Facebook、谷歌等網(wǎng)絡(luò)巨頭是首先部署這種技術(shù)的公司。
雖然沒(méi)有大數(shù)據(jù)的具體或通用的定義。作為一個(gè)復(fù)雜的術(shù)語(yǔ)，大數(shù)據(jù)的定義根據(jù)社區(qū)、用戶或服務(wù)提供商而有所不同?？鐚W(xué)科方法可以了解不同參與者的行為：工具的設(shè)計(jì)者和供應(yīng)者(計(jì)算機(jī)科學(xué)家)，用戶類別(經(jīng)理、企業(yè)主、決策者、研究人員)以及專業(yè)人士。
大數(shù)據(jù)是一個(gè)雙重技術(shù)系統(tǒng)。實(shí)際上，它既有好處又面臨挑戰(zhàn)。大數(shù)據(jù)的到來(lái)現(xiàn)在被許多文章描述為一場(chǎng)新的工業(yè)革命，類似于蒸汽機(jī)(19世紀(jì)早期)、電力(19世紀(jì)晚期)和計(jì)算機(jī)科學(xué)(20世紀(jì)晚期)的產(chǎn)生。另一些人則將這一現(xiàn)象描述為第三次工業(yè)革命的最后階段，實(shí)際上這是一個(gè)“信息時(shí)代”。在任何情況下，大數(shù)據(jù)都被認(rèn)為是導(dǎo)致社會(huì)深層次變革的根源。
大數(shù)據(jù)在各行業(yè)組織的應(yīng)用中越來(lái)越廣泛，而開展大數(shù)據(jù)項(xiàng)目并不容易。根據(jù)NewVantage Partners進(jìn)行的一項(xiàng)研究，在接受調(diào)查的“財(cái)富1000強(qiáng)”的企業(yè)中，95%的企業(yè)在過(guò)去五年中實(shí)施了大數(shù)據(jù)項(xiàng)目，但只有48.4%的企業(yè)從這些項(xiàng)目中成功獲益。
以下是企業(yè)面臨的一些主要的大數(shù)據(jù)挑戰(zhàn)：
管理數(shù)據(jù)增長(zhǎng)
顯然，要克服的最大的大數(shù)據(jù)挑戰(zhàn)之一就是存儲(chǔ)和分析所有信息。IDC公司估計(jì)，全球各地的計(jì)算機(jī)系統(tǒng)中存儲(chǔ)的信息量每?jī)赡攴环?。大多?shù)數(shù)據(jù)是非結(jié)構(gòu)化的，這意味著它沒(méi)有存儲(chǔ)在數(shù)據(jù)庫(kù)中。而照片、文檔、視頻和音頻文件很難分析。
為了克服這個(gè)挑戰(zhàn)，企業(yè)可以使用不同的技術(shù)來(lái)管理不斷增加的數(shù)據(jù)。在存儲(chǔ)方面，融合和超融合的基礎(chǔ)設(shè)施以及軟件定義的存儲(chǔ)都證明可以使硬件易于擴(kuò)展。壓縮數(shù)據(jù)、重復(fù)數(shù)據(jù)消除以及分層等技術(shù)還可以減少存儲(chǔ)大數(shù)據(jù)所需的空間和成本。在管理和分析方面，企業(yè)可以使用NoSQL、Hadoop、Spark等大數(shù)據(jù)分析軟件，以及商務(wù)智能軟件、人工智能和機(jī)器學(xué)習(xí)等工具來(lái)獲得所需的洞察力。
快速生成洞察力
企業(yè)不僅希望存儲(chǔ)它們生成的大數(shù)據(jù)，還希望使用大數(shù)據(jù)來(lái)實(shí)現(xiàn)他們的目標(biāo)。根據(jù)NewVantage Partners進(jìn)行的研究，與大數(shù)據(jù)項(xiàng)目相關(guān)的主要目標(biāo)是減少開支，實(shí)施數(shù)據(jù)驅(qū)動(dòng)的文化和創(chuàng)新，加速部署新功能和服務(wù)，以及推出新產(chǎn)品和服務(wù)。這些不同的目標(biāo)可以使企業(yè)更具競(jìng)爭(zhēng)力，但他們需要獲得洞察力，并迅速加以利用。
為了幫助他們快速實(shí)現(xiàn)，企業(yè)可以使用新一代的分析工具，顯著減少生成報(bào)告所需的時(shí)間。他們大量投資分析工具，幫助實(shí)時(shí)獲得結(jié)果。通過(guò)這種方式，可以盡快響應(yīng)市場(chǎng)的發(fā)展。
招募大數(shù)據(jù)人才
為了開發(fā)和管理能夠產(chǎn)生見(jiàn)解的應(yīng)用程序，企業(yè)需要掌握大數(shù)據(jù)技能的專業(yè)人員。事實(shí)上，對(duì)大數(shù)據(jù)專家的需求以及為他們提供的薪酬都在大幅增加。
為了解決大數(shù)據(jù)人才匱乏的問(wèn)題，企業(yè)具有多種選擇。他們可以增加預(yù)算，招聘人才，并提供工作崗位。其他的選擇是培訓(xùn)現(xiàn)有員工學(xué)習(xí)和掌握大數(shù)據(jù)，在企業(yè)內(nèi)部培養(yǎng)大數(shù)據(jù)人才。最后，許多企業(yè)購(gòu)買了自助分析解決方案或機(jī)器學(xué)習(xí)軟件，專為沒(méi)有數(shù)據(jù)科學(xué)背景的專業(yè)人士使用而設(shè)計(jì)。這些工具可以幫助企業(yè)克服大數(shù)據(jù)挑戰(zhàn)，并實(shí)現(xiàn)目標(biāo)，甚至無(wú)需聘請(qǐng)大數(shù)據(jù)專家。
整合多種大數(shù)據(jù)源
各種各樣的數(shù)據(jù)使集成成為最大的數(shù)據(jù)挑戰(zhàn)之一。實(shí)際上，數(shù)據(jù)來(lái)自不同的來(lái)源：業(yè)務(wù)應(yīng)用、社交網(wǎng)絡(luò)、電子郵件、員工文檔......將所有這些數(shù)據(jù)有效地結(jié)合起來(lái)，并使用它們來(lái)創(chuàng)建報(bào)告，對(duì)于高級(jí)用戶來(lái)說(shuō)，數(shù)據(jù)驅(qū)動(dòng)的洞察力和業(yè)務(wù)決策支持解決方案可能非常困難。為了解決這個(gè)問(wèn)題，不同的供應(yīng)商提供了集成工具，旨在簡(jiǎn)化流程。然而，許多企業(yè)承認(rèn)他們還沒(méi)有克服這一挑戰(zhàn)。
數(shù)據(jù)驗(yàn)證
數(shù)據(jù)驗(yàn)證也是大數(shù)據(jù)的主要挑戰(zhàn)之一。許多企業(yè)從不同的系統(tǒng)接收類似的數(shù)據(jù)，這些數(shù)據(jù)有時(shí)是矛盾的。
為了協(xié)調(diào)這些數(shù)據(jù)，企業(yè)必須使用數(shù)據(jù)治理。數(shù)據(jù)治理也帶來(lái)了各種挑戰(zhàn)，事實(shí)上，根據(jù)AtScale 2016“大數(shù)據(jù)成熟度調(diào)查”，數(shù)據(jù)流通量是受訪者表示增長(zhǎng)最快的領(lǐng)域。
解決數(shù)據(jù)治理挑戰(zhàn)通常并不容易。它需要技術(shù)和政策變化的結(jié)合。但是，一些嘗試包括分配人員來(lái)監(jiān)視數(shù)據(jù)并定義規(guī)則和過(guò)程。另一種選擇是投資數(shù)據(jù)管理解決方案，旨在簡(jiǎn)化面向大數(shù)據(jù)準(zhǔn)確性和存儲(chǔ)的數(shù)據(jù)治理。
保護(hù)大數(shù)據(jù)安全
安全性也是大數(shù)據(jù)領(lǐng)域面對(duì)的一個(gè)重要問(wèn)題。商業(yè)數(shù)據(jù)可能對(duì)黑客具有吸引力。但是，根據(jù)IDG公司的一項(xiàng)研究，只有39%的公司對(duì)其數(shù)據(jù)存儲(chǔ)庫(kù)使用額外的安全措施。一些最主要的附加措施包括訪問(wèn)和身份控制、數(shù)據(jù)加密和數(shù)據(jù)隔離。
組織面臨的挑戰(zhàn)
除了大數(shù)據(jù)挑戰(zhàn)的技術(shù)方面，員工還面臨大數(shù)據(jù)的挑戰(zhàn)。在試圖啟動(dòng)大數(shù)據(jù)項(xiàng)目的企業(yè)遇到的主要挑戰(zhàn)中，三個(gè)主要問(wèn)題是組織協(xié)調(diào)性不足、管理者缺乏理解、業(yè)務(wù)面臨阻力。
因此，要解決這一挑戰(zhàn)，必須讓商業(yè)領(lǐng)袖相信大數(shù)據(jù)的有用性，并任命一名首席數(shù)據(jù)官。同樣重要的是，企業(yè)的高管、董事和經(jīng)理必須了解大數(shù)據(jù)帶來(lái)的機(jī)遇，以便他們能夠克服各種挑戰(zhàn)，并在不斷增長(zhǎng)的以數(shù)據(jù)為中心的經(jīng)濟(jì)中保持競(jìng)爭(zhēng)力。
京公網(wǎng)安備 11010502049343號(hào)