發(fā)源地大數(shù)據(jù)(Finndy)是國內(nèi)首家基于自研SaaS2.0云采集引擎的大數(shù)據(jù)交易平臺(tái),支持海量數(shù)據(jù)的分布式采集、計(jì)算及處理,以技術(shù)驅(qū)動(dòng)數(shù)據(jù)交易。
科學(xué)分析、行業(yè)研究、內(nèi)容擴(kuò)充、運(yùn)營啟動(dòng),F(xiàn)inndy平臺(tái)集合了全行業(yè)脫敏數(shù)據(jù),滿足企業(yè)對數(shù)據(jù)分析、數(shù)據(jù)運(yùn)營及精準(zhǔn)營銷等方面的需求。
什么是大數(shù)據(jù),大數(shù)據(jù)有什么用,為什么凱文凱利說數(shù)據(jù)是必然,馬云說數(shù)據(jù)是未來的一切的來源?
世界每天都在變,新的概念和名詞不斷涌現(xiàn)。
對有些人來說,大數(shù)據(jù)早被說爛,已經(jīng)是過時(shí)的風(fēng)口;
對有些人來說,大數(shù)據(jù)似懂非懂,聽起來很“高大上”;
這篇文章為后一種人所寫,如果你對大數(shù)據(jù)也似懂非懂,讀完這篇你就可以搞懂它。
/01/
什么是大數(shù)據(jù)
關(guān)于大數(shù)據(jù)的概念,有諸多版本,如同文化、精神這類詞,沒有統(tǒng)一定義。這里不是寫論文,只引用兩個(gè)版本:
1個(gè)來自維基百科:大數(shù)據(jù)是指一些使用目前現(xiàn)有數(shù)據(jù)庫管理工具或傳統(tǒng)數(shù)據(jù)處理應(yīng)用很難處理的大型而復(fù)雜的數(shù)據(jù)集。
1個(gè)來自百度百科:大數(shù)據(jù)是指無法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合,是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。
維基百科說了大數(shù)據(jù)大、難處理,復(fù)雜、數(shù)據(jù)集,百度百科在此基礎(chǔ)上強(qiáng)調(diào)它是一種信息資產(chǎn)。
兩個(gè)概念共同昭示了大數(shù)據(jù)的主要特點(diǎn):數(shù)量大、種類多、復(fù)雜、難處理、價(jià)值大。
那大數(shù)據(jù)是誰創(chuàng)造呢?
籠統(tǒng)說:是所有人的所有行為。
它不是今天,或者電腦誕生、互聯(lián)網(wǎng)誕生后才有,歷史上也有,只是那個(gè)時(shí)候沒這個(gè)概念,古人行軍打仗,商品貿(mào)易流通,城市興起衰落無不是在生產(chǎn)大數(shù)據(jù),利用大數(shù)據(jù)。
你今天早上吃什么,出門選擇什么交通工具,一個(gè)行為構(gòu)成一個(gè)數(shù)據(jù)。
無數(shù)個(gè)你集結(jié)一起就是大數(shù)據(jù),我們所有人的交易行為集結(jié)一起,就是消費(fèi)大數(shù)據(jù),我們所有人出行,就是出行大數(shù)據(jù),我們娛樂消遣,就是娛樂大數(shù)據(jù)……
所以大數(shù)據(jù)不只是excel表格里的一串字符,從構(gòu)成元素上看,它包含:文字、圖片、視頻、音頻、交易記錄、生產(chǎn)信息、物聯(lián)網(wǎng)信息……
于我而言,大數(shù)據(jù)是歷史,是信息,是記錄,記錄我們所做過的一切。
/02/
大數(shù)據(jù)有何用
大數(shù)據(jù)有什么用,為什么馬云說,數(shù)據(jù)不僅是能源,是血液,是未來所有的一切的創(chuàng)新和來源?
其實(shí)大數(shù)據(jù)本身是沒有任何價(jià)值。
比如大數(shù)據(jù)告訴你每天有10000個(gè)人,固定從A移動(dòng)到B點(diǎn)。這條訊息對你可能沒有任何價(jià)值。
但如果摩拜知道了,它可以選擇在A點(diǎn)和B點(diǎn)分別投放不同數(shù)量的車,獲得用戶增長。
如果廣告商知道了,它可以在A點(diǎn)和B點(diǎn)搭建N個(gè)廣告展示窗口,獲得廣告費(fèi),而廣告商背后的廣告主也能因此得利。
……
(當(dāng)然你也可以選擇在A點(diǎn)或B點(diǎn)開一個(gè)奶茶店。)
因?yàn)榇髷?shù)據(jù)記錄所有,它會(huì)告訴別人,人們的喜好,消費(fèi)習(xí)慣,選擇偏好、工作習(xí)慣……
企業(yè)可以從中覓出商機(jī),更好解決人們需要,從而獲得利潤。
而最終獲益的是每一個(gè)人,因?yàn)槲覀兊男枰玫搅烁脻M足。
就目前來看,企業(yè)會(huì)更直接從大數(shù)據(jù)中獲利。
大數(shù)據(jù)的價(jià)值,可以籠統(tǒng)歸為兩點(diǎn):
大數(shù)據(jù)為人服務(wù),為企業(yè)和個(gè)人提供決策參考,讓人少犯錯(cuò),更聰明。這方面主要體現(xiàn)在精準(zhǔn)營銷、用戶需求、市場拓展、趨勢預(yù)測、資源配置、產(chǎn)品升級……
大數(shù)據(jù)為機(jī)器服務(wù)。大數(shù)據(jù)可以訓(xùn)練機(jī)器設(shè)備、人工智能,讓機(jī)器更聰明。這方面主要體現(xiàn)在物聯(lián)設(shè)備、人工智能訓(xùn)練、搜索引擎、信息分發(fā)平臺(tái)的推送機(jī)制等,都是基于大數(shù)據(jù)之上的。
關(guān)于第2點(diǎn),舉1個(gè)例子:谷歌智能機(jī)器人阿爾法狗之所以能橫掃當(dāng)代圍棋高手,在于它未出戰(zhàn)之前,已經(jīng)和歷史上的所有名家學(xué)習(xí)對戰(zhàn)過,并反復(fù)與自己對戰(zhàn),不斷超越自己,所以才戰(zhàn)無不勝。
/03/
大數(shù)據(jù)的分類
大數(shù)據(jù)大體可以分兩類。
開放數(shù)據(jù)。開放數(shù)據(jù)即所有人可見的公開數(shù)據(jù)。包含但不局限以下:
網(wǎng)站數(shù)據(jù);
APP數(shù)據(jù);
大眾媒介數(shù)據(jù),如電視、報(bào)紙、電臺(tái)、書等;
……
內(nèi)部數(shù)據(jù)。內(nèi)部數(shù)據(jù)即某些特定機(jī)構(gòu)、企業(yè)擁有數(shù)據(jù)。包含但不局限以下:
政府?dāng)?shù)據(jù),如征信、戶籍、犯罪記錄等;
企業(yè)數(shù)據(jù),如阿里巴巴的消費(fèi)數(shù)據(jù),騰訊的社交數(shù)據(jù),滴滴的出行數(shù)據(jù)等;
機(jī)構(gòu)數(shù)據(jù),如第三方咨詢機(jī)構(gòu)的調(diào)查數(shù)據(jù)。
終端數(shù)據(jù),如小米智能手環(huán)搜集你的健康數(shù)據(jù)。
……
兩者的區(qū)別在于,開放數(shù)據(jù)體量大,比較雜亂,目前使用率低,會(huì)使用的企業(yè)和機(jī)構(gòu)較少,需要挖掘,但在未來它必定是主流數(shù)據(jù)來源,隨著數(shù)據(jù)積累,數(shù)據(jù)價(jià)值和應(yīng)用率會(huì)更高。
內(nèi)部數(shù)據(jù)則反過來,體量相對會(huì)少,數(shù)據(jù)相對集中,目前應(yīng)用更廣,但對普通企業(yè)/人來說,獲取難度比較高。
/04/
大數(shù)據(jù)如何獲取
如果企業(yè)、機(jī)構(gòu)或者個(gè)人想要獲取大數(shù)據(jù),該怎么獲取呢?
1.購買。
購買分兩種,一種是直接向數(shù)據(jù)擁有者購買。一些公司或個(gè)人擁有一些數(shù)據(jù),他們會(huì)出售數(shù)據(jù)變現(xiàn)(相對少);
另一種方式是上數(shù)據(jù)交易平臺(tái)購買數(shù)據(jù),比如上發(fā)源地大數(shù)據(jù)交易平臺(tái),用戶可以直接購買數(shù)據(jù),也可以發(fā)布數(shù)據(jù)需求,定制數(shù)據(jù),從開發(fā)者或數(shù)據(jù)供應(yīng)商獲取數(shù)據(jù)。
2.采集。
采集數(shù)據(jù)要看采集什么數(shù)據(jù)。如果要采集開放數(shù)據(jù),方式也是兩種,如果懂技術(shù),可以自己寫代碼采;如果不懂技術(shù),技術(shù)小白,可以用數(shù)據(jù)采集工具采,比如Finndy+云采集引擎。
而如果要采集內(nèi)部數(shù)據(jù)的話,一般說來企業(yè)內(nèi)部都有自己的數(shù)據(jù)采集軟件和方式,比如工業(yè)設(shè)備會(huì)通過傳感器記錄數(shù)據(jù),一些企業(yè)會(huì)人工記錄采集數(shù)據(jù)。
3.自造。
比如阿里巴巴、騰訊、百度這些互聯(lián)網(wǎng)巨頭公司,從某種維度上來說,他們也是數(shù)據(jù)公司,并且擁有自造大數(shù)據(jù)的能力,如果你的企業(yè)能切中某個(gè)社會(huì)大需求,擁有海量用戶和高使用頻次,成為巨頭,你也可以自造大數(shù)據(jù)。
/05/
大數(shù)據(jù)如何應(yīng)用
大數(shù)據(jù)怎么用?
這里只講流程和邏輯,不切具體行業(yè)和場景。
不管你是用大數(shù)據(jù)去服務(wù)人,幫助你做決策,還是用大數(shù)據(jù)去訓(xùn)練你的機(jī)器,算法,一般都要四步驟。
數(shù)據(jù)采集。
數(shù)據(jù)采集的方法上面已經(jīng)說了,這里要說的是,數(shù)據(jù)采集是數(shù)據(jù)應(yīng)用的基礎(chǔ),數(shù)據(jù)源非常重要,如果數(shù)據(jù)源錯(cuò)了,后面的所有結(jié)果都是錯(cuò),采集來的數(shù)據(jù)是否全,是否清洗,是否合法,是否及時(shí),都是數(shù)據(jù)可靠性和可用性的判斷維度。
數(shù)據(jù)建模。
數(shù)據(jù)采集上來了,需要對數(shù)據(jù)進(jìn)行整理,按照一些規(guī)則和維度進(jìn)行組織,讓人和機(jī)器都能看懂。
數(shù)據(jù)分析。
數(shù)據(jù)該如何分析,分析哪些維度,怎么從過去預(yù)測未來,這是個(gè)大學(xué)問,也是各家各說,無法一一展開,在此不贅述。
數(shù)據(jù)應(yīng)用。
分析完就是應(yīng)用,驗(yàn)證分析結(jié)果。這是一個(gè)循環(huán)過程,通常需要A/B測試,反復(fù)驗(yàn)證優(yōu)化。
作者:發(fā)源地大數(shù)據(jù)鏈接:http://www.jianshu.com/p/e421b9cbe376
來源:簡書