【這張圖是超過(guò)80萬(wàn)部AV中的標(biāo)簽,中國(guó)這個(gè)市場(chǎng)正在逐漸上升,當(dāng)然與日本還是不能同日而語(yǔ)?!?/p> SAS如何看待大數(shù)據(jù)
原文:What Is Big Data? http://www.sas.com/en_us/insights/big-data/what-is-big-data.html
@Intetix
3V模型與擴(kuò)展
“大數(shù)據(jù)”現(xiàn)在是一個(gè)炙手可熱的詞語(yǔ),這個(gè)詞雖然比較新,但收集與存儲(chǔ)大量信息的歷史卻不短了。
早在本世紀(jì)初,行業(yè)分析師Doug Laney就提出了“3V模型”來(lái)定義大數(shù)據(jù),如今已經(jīng)成為主流。所謂“3V模型”分別是指數(shù)據(jù)量(Volume)、速率(Velocity)、多樣性(Variety)。
數(shù)據(jù)量(Volume)是指一些組織從商業(yè)交易、社會(huì)媒體等來(lái)源收集數(shù)據(jù),從傳感器或者機(jī)器通信(M2M)數(shù)據(jù)中獲取信息。以前存儲(chǔ)這些數(shù)據(jù)或者信息是一個(gè)難題,但新興的技術(shù)(如Hadoop等)減輕了這項(xiàng)負(fù)擔(dān)。
速率(Velocity)是指數(shù)據(jù)以一種空前的速度流入,而且必須得到及時(shí)的處理。無(wú)線射頻識(shí)別 (RFID)標(biāo)簽、傳感器以及智能儀表使得對(duì)于連續(xù)涌來(lái)的數(shù)據(jù)進(jìn)行“準(zhǔn)實(shí)時(shí)”處理的需求越發(fā)突出。
多樣性(Variety)獲得的數(shù)據(jù)具有各種各樣的格式(從傳統(tǒng)數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)值型數(shù)據(jù)到非結(jié)構(gòu)化的文本文檔、郵件、視頻、音頻、股票行情及經(jīng)濟(jì)交易等)。
不過(guò)SAS對(duì)大數(shù)據(jù)另有獨(dú)到看法。SAS是在中國(guó)的文化大革命時(shí)期建立和發(fā)展起來(lái)的一家數(shù)據(jù)處理公司,現(xiàn)在已經(jīng)是數(shù)據(jù)行業(yè)的領(lǐng)軍企業(yè)。SAS在3V模型的基礎(chǔ)上加入了另外兩個(gè)維度:可變性(Variability)和復(fù)雜性(Complexity)。
可變性(Variability)是指數(shù)據(jù)流不穩(wěn)定易變化的特征。除了數(shù)據(jù)速率提升及多樣性增加的問(wèn)題,數(shù)據(jù)流還有著極不穩(wěn)定的周期峰值。是否有什么在社會(huì)媒體中起了導(dǎo)向作用?每日的、季度的以及事件觸發(fā)性的數(shù)據(jù)負(fù)載高峰會(huì)給數(shù)據(jù)管理造成極大的挑戰(zhàn),這在處理非結(jié)構(gòu)化數(shù)據(jù)時(shí)尤為明顯。
復(fù)雜性(Complexity)是指隨著數(shù)據(jù)來(lái)源多樣化、數(shù)據(jù)流可變性增加,數(shù)據(jù)處理日益復(fù)雜化。如今數(shù)據(jù)的來(lái)源各種各樣,這會(huì)給跨系統(tǒng)的數(shù)據(jù)關(guān)聯(lián)、匹配、清洗以及轉(zhuǎn)換造成困難。然而,對(duì)數(shù)據(jù)間的關(guān)系、層級(jí)以及多數(shù)據(jù)間的聯(lián)結(jié)點(diǎn)進(jìn)行關(guān)聯(lián)是十分重要的,否則你的數(shù)據(jù)很快就會(huì)失控。
來(lái)自VISA的啟示
全球已產(chǎn)生的和存儲(chǔ)的數(shù)據(jù)量是無(wú)法想象的,而且它還在持續(xù)增長(zhǎng)。毫無(wú)疑問(wèn),大數(shù)據(jù)在商業(yè)分析方面有巨大的潛力。那么企業(yè)怎樣才能更好地應(yīng)用這些每天新增的原始數(shù)據(jù)呢?
大數(shù)據(jù)的重要性不在于你擁有多少數(shù)據(jù),而在于你如何使用這些數(shù)據(jù)。你能從任意來(lái)源渠道獲取數(shù)據(jù),并且通過(guò)對(duì)其進(jìn)行分析從而減少損耗、縮短用時(shí)、發(fā)展新產(chǎn)品和優(yōu)化供應(yīng)方案、最終使智能決策成為可能。
著名的信用卡服務(wù)公司VISA就利用大數(shù)據(jù),減少了欺騙性信用卡和借貸卡的辦理。和絕大多數(shù)信用卡公司一樣,Visa在為客戶提供看不見(jiàn)的服務(wù)的時(shí)候面臨著詐騙活動(dòng)的挑戰(zhàn)——解決這個(gè)問(wèn)題的難處在于提供服務(wù)和避免欺詐并不能總是一同解決。
比如說(shuō),當(dāng)信用卡公司首次運(yùn)用計(jì)算機(jī)系統(tǒng)自動(dòng)分析判斷欺詐交易時(shí),有更多的在外度假或公干的客戶反映支付被拒,因?yàn)檫@項(xiàng)技術(shù)的難點(diǎn)在于計(jì)算機(jī)很難評(píng)估用戶是在旅游,還是信用卡被盜刷了。
Visa中為北亞問(wèn)題提供解決方案的負(fù)責(zé)人Nathan Falkenborg說(shuō):“如果我們得知你很可能在旅游,那么我們就會(huì)告訴你參與的金融機(jī)構(gòu),讓你在購(gòu)物的時(shí)候不會(huì)被拒絕支付,我們也會(huì)協(xié)助銀行制定更優(yōu)的Visa工具和積分系統(tǒng)的使用策略。”
而利用大數(shù)據(jù)分析,Visa可以實(shí)時(shí)地分析超過(guò)500項(xiàng)獨(dú)立的變量,來(lái)判斷用戶到底是在異地度假或公干使用信用卡、還是用戶的信用卡在異地被盜刷了。這對(duì)于減少欺騙性交易、又不讓用戶被不必要的支付遭拒所困擾有很大的幫助,而且潛在地節(jié)省了每年二十億美元的欺騙性支付額。
各行業(yè)如何利用大數(shù)據(jù)
大數(shù)據(jù)對(duì)幾乎每個(gè)行業(yè)的組織都產(chǎn)生了影響,讓我們來(lái)看看每個(gè)產(chǎn)業(yè)怎樣才能從信息的大量涌入中獲益呢。
銀行
隨著大量的信息流,銀行正在尋找新的并且創(chuàng)新的方法來(lái)管理大數(shù)據(jù)。雖然去理解顧客和讓他們更滿意是很重要的,但是在遵從法規(guī)的同時(shí)減少風(fēng)險(xiǎn)和欺詐也是同樣的重要。大數(shù)據(jù)帶來(lái)了偉大的見(jiàn)解,但是它也要求金融機(jī)構(gòu)要利用先進(jìn)的分析策略和技術(shù),在這場(chǎng)大數(shù)據(jù)游戲中領(lǐng)先一步。
教育
有著數(shù)據(jù)驅(qū)動(dòng)思維的教育者將對(duì)教育系統(tǒng),學(xué)生和課程產(chǎn)生重要的影響。通過(guò)分析大數(shù)據(jù),他們可以識(shí)別有潛在困難的學(xué)生,從而確保學(xué)生在學(xué)業(yè)上有適當(dāng)?shù)倪M(jìn)展,還可以形成一個(gè)更好的系統(tǒng),以評(píng)估和支持教師和校長(zhǎng)。
政府
當(dāng)政府機(jī)關(guān)有能力去利用分析學(xué)分析大數(shù)據(jù),在管理公用工程,機(jī)構(gòu)的運(yùn)行,處理交通擁堵或者以防犯罪的問(wèn)題上他們可以得到非常有意義的資料。但是大數(shù)據(jù)雖然有非常多的好處,政府必須解決隱私和透明度的問(wèn)題。
衛(wèi)生保健
病人的記錄,治療計(jì)劃,處方信息。當(dāng)談到衛(wèi)生保健,每一件事都需要快速準(zhǔn)確的完成,在有一些情況下,我們還需要有足夠的透明度去達(dá)到該產(chǎn)業(yè)的嚴(yán)格規(guī)章。如果大數(shù)據(jù)被高效的運(yùn)用,衛(wèi)生保健服務(wù)供應(yīng)者可以揭示一些不易察覺(jué)的見(jiàn)解以提升患者護(hù)理質(zhì)量。
制造業(yè)
有著大數(shù)據(jù)可以提高的見(jiàn)解,制造業(yè)可以在減少浪費(fèi)的同時(shí)提高質(zhì)量和產(chǎn)量——這是一個(gè)在當(dāng)今高度競(jìng)爭(zhēng)市場(chǎng)上的重要一個(gè)關(guān)鍵過(guò)程。越來(lái)越多的制造商正在處于一個(gè)可以更快的解決的問(wèn)題和快速做出商業(yè)決策。
零售
在零售業(yè)建立客戶關(guān)系是重要的一部分——而最好辦法就是管理大數(shù)據(jù)。零售商需要知道向客戶推銷的最好方式,處理交易的最有效方式以及讓疲軟的經(jīng)濟(jì)再次繁榮的最富有策略的方式,而大數(shù)據(jù)是所有的這些的核心。