案例主要關(guān)注三個(gè)問題：數(shù)據(jù)從哪里來?數(shù)據(jù)如何存儲(chǔ)?數(shù)據(jù)如何計(jì)算?

1. Last.fm

1.1 背景

創(chuàng)建于2002年，提供網(wǎng)絡(luò)電臺(tái)和網(wǎng)絡(luò)音樂服務(wù)的社交網(wǎng)絡(luò)。每個(gè)月有2500萬(wàn)人使用Last.fm，產(chǎn)生大量數(shù)據(jù)?，F(xiàn)在有了中文版http://cn.last.fm/，界面很不錯(cuò)!

2006年初，Last.fm開始使用Hadoop，幾個(gè)月后投入實(shí)際應(yīng)用。Hadoop是Last.fm基礎(chǔ)平臺(tái)的關(guān)鍵組件，有2個(gè)Hadoop集群，50臺(tái)計(jì)算機(jī)，300個(gè)內(nèi)核，100TB的硬盤空間。在集群上，運(yùn)行數(shù)百種各種日常作業(yè)，包括日志文件分析，A/B測(cè)試評(píng)測(cè)，即時(shí)處理和圖表生成。

1.2 圖表生成

圖表生成是Hadoop在Last.fm的第一個(gè)應(yīng)用。

1.3 數(shù)據(jù)從哪里來

Last.fm有兩種收聽信息：用戶播放自己的音樂，如pc或者其他設(shè)備mp3，這種信息通過Last.fm的客戶端或者第三方應(yīng)用發(fā)送到Last.fm，這一類叫scrobble收藏?cái)?shù)據(jù);用戶收聽Last.fm網(wǎng)絡(luò)電臺(tái)的節(jié)目，以及聽節(jié)目時(shí)候的喜愛，跳過，禁止等操作信息，這一類叫radio listen電臺(tái)收聽數(shù)據(jù)。

1.4 數(shù)據(jù)存儲(chǔ)

收聽數(shù)據(jù)被發(fā)送到Last.fm，經(jīng)歷驗(yàn)證和轉(zhuǎn)換，形成一系列有空格分隔的文本文件，包含用戶id-userid，音樂id-trackid，這首音樂被收藏的次數(shù)scrobble，這首音樂在電臺(tái)中收聽的次數(shù)radio，被跳過的次數(shù)skip。真實(shí)數(shù)據(jù)達(dá)到GB級(jí)別，有更多屬性字段。

1.5 數(shù)據(jù)處理

1.5.1 Unique Listeners作業(yè)：統(tǒng)計(jì)收聽某一首歌的不同用戶數(shù)，也就說說，有多少個(gè)用戶聽過某個(gè)歌，如果用戶重復(fù)收聽，只算一次。

1.5.2 Sum作業(yè)：每首歌的收聽總數(shù)，收藏總數(shù)，電臺(tái)收聽總數(shù)，被跳過的總數(shù)。

1.5.3 合作作業(yè)：每首歌的被多少不同用戶收聽總數(shù)，收聽總數(shù)，收藏總數(shù)，電臺(tái)收聽總數(shù)，被跳過的總數(shù)。

1.5.4 這些數(shù)據(jù)會(huì)被作為周排行榜等在Last.fm主站上顯示出來。

2. Facebook

2.1 背景

Facebook社交網(wǎng)絡(luò)。

開始時(shí)，試用一個(gè)小Hadoop集群，很成功。同時(shí)開始開發(fā)Hive，Hive讓工程師能用SQL語(yǔ)言處理Hadoop集群的數(shù)據(jù)，畢竟很多人更熟悉SQL。后來，F(xiàn)acbook運(yùn)行了世界第二大Hadoop集群，數(shù)據(jù)超多2PB，每天加入10TB數(shù)據(jù)，2400個(gè)內(nèi)核，9TB內(nèi)存，大部分時(shí)間硬件滿負(fù)荷運(yùn)行。

2.2 使用情況

2.2.1 在大規(guī)模數(shù)據(jù)是以天和小時(shí)為單位產(chǎn)生概要信息。如用戶數(shù)，網(wǎng)頁(yè)瀏覽次數(shù)，網(wǎng)站訪問時(shí)間增常情況，廣告活動(dòng)效果數(shù)據(jù)，計(jì)算用戶喜歡人和應(yīng)用程序。

2.2.2 分析歷史數(shù)據(jù)，以設(shè)計(jì)和改進(jìn)產(chǎn)品，以及管理。

2.2.3 文件存檔和日志查詢。

2.3 廣告分析

2.3.1 cpc-cost perclick點(diǎn)擊數(shù)計(jì)費(fèi)，cpm-cost per mille每千人成本。

2.3.2 個(gè)性化廣告定制：根據(jù)個(gè)體用戶進(jìn)行不同的內(nèi)容剪輯。Yahoo!的SmartAds，F(xiàn)acebook的Social Ads，Engagement Ad廣告意見/嵌入視頻交互。Facebook每天處理1TB數(shù)量級(jí)廣告數(shù)據(jù)。

2.3.3 用Hive分析A/B測(cè)試的結(jié)果。

2.3.4 Hadoop和Hive分析人氣網(wǎng)站，生物信息公司，原油勘探公司，在線廣告。

3.Nutch搜索引擎

3.1 Nutch框架用戶建立可擴(kuò)展的crawler網(wǎng)絡(luò)爬蟲和搜索引擎。

3.2 架構(gòu)

3.2.1 crawlDb網(wǎng)頁(yè)數(shù)據(jù)庫(kù)：跟蹤網(wǎng)絡(luò)crawler抓取的網(wǎng)頁(yè)和它們的狀態(tài)。

3.2.2 fetchlist爬取網(wǎng)頁(yè)清單：crawler定期刷新web視圖信息，下載新的網(wǎng)頁(yè)。

3.2.3 page content原始網(wǎng)頁(yè)數(shù)據(jù)：從遠(yuǎn)程網(wǎng)站下載，以原始的未世界的格式在本地存儲(chǔ)成字節(jié)數(shù)組。

3.2.4 解析的網(wǎng)頁(yè)數(shù)據(jù)：Nutch為html, pdf, open office, ms office, rss提供了解析器。

3.2.5 linkdb鏈接圖數(shù)據(jù)庫(kù)：page rank來的。

3.2.6 lucene全文檢索索引：倒排索引，基于搜集到的所有網(wǎng)頁(yè)元數(shù)據(jù)和抽取到的純文本內(nèi)容建立。

3.3 使用情況

Nutch使用Hadoop作業(yè)處理數(shù)據(jù)。

4 Rackspace

4.1 背景

Rackspace hosting為企業(yè)提供管理系統(tǒng)。在數(shù)百臺(tái)服務(wù)器上為100萬(wàn)用戶和幾千家公司提供郵件服務(wù)。

4.2 使用情況

日志分析。發(fā)送郵件需要使用多個(gè)postfix郵件代理服務(wù)器，大部分消息穿越多個(gè)Postfix服務(wù)器，但每個(gè)服務(wù)器只知道郵件的目的地，為了給消息建立完整的歷史信息，需要用Hadoop處理日志記錄。

4.3 使用方式

在數(shù)據(jù)中心, syslog-ng從source機(jī)器傳統(tǒng)日志數(shù)據(jù)到一組負(fù)載均衡的collector收集器機(jī)器。在收集器上，日志數(shù)據(jù)被匯集成一個(gè)單獨(dú)的數(shù)據(jù)流，用gzip格式進(jìn)行輕量級(jí)壓縮。

當(dāng)壓縮的日志流到達(dá)本地收集器，數(shù)據(jù)會(huì)被寫入Hadoop，這一步用簡(jiǎn)單的python腳本寫入即可。

Hadoop集群有15個(gè)數(shù)據(jù)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)使用普通cpu和3個(gè)500G硬盤。

4.4 計(jì)算

每個(gè)電子郵件有一個(gè)唯一標(biāo)示符號(hào)queue-id。每個(gè)電子郵件有一個(gè)唯一的message-id，但惡意客戶端會(huì)重復(fù)發(fā)送消息，所以message-id會(huì)被偽造。

在Postfix日志，需要用queue-id查找message-id。

第一步，以queue-id為健，進(jìn)行map，把日志log的每個(gè)分配給對(duì)應(yīng)的queue-id，然后，執(zhí)行reduce過程，根據(jù)日志消息數(shù)值判斷queue-id的發(fā)送過程是否完整。

第二步，根據(jù)message-id對(duì)第一步的結(jié)果進(jìn)行分組，以queue-di和message-id同時(shí)為鍵，以它們對(duì)應(yīng)的日志行作為值，在reuce階段，判斷針對(duì)某個(gè)message-id的所有queue-id是否合理，驗(yàn)證消息是否離開系統(tǒng)。

5. Cascading

5.1 背景

Cascading是一個(gè)開源的Java庫(kù)，為MapReduce提供抽象層。用Java寫Hadoop的MapReduce是有難度的：cascading用簡(jiǎn)單字段名和數(shù)據(jù)元組模型代替MapReduce的key-value;cascading引入了比Map和Reduce更抽象的層次，如Function, Fileter, Aggregator和Buffer。

5.2 使用情況

Cascading以字段名和元組的方式，把多個(gè)MapReduce的處理簡(jiǎn)化成一個(gè)管道鏈接起來的形式處理數(shù)據(jù)。從例子來看非常簡(jiǎn)潔，需要的代碼很少。

6. 用Pig和Wukong探索十億數(shù)據(jù)級(jí)別的網(wǎng)絡(luò)圖

6.1 圖=節(jié)點(diǎn)+連接節(jié)點(diǎn)的邊。

6.2 Infochimps項(xiàng)目，一個(gè)發(fā)現(xiàn)，共享，出售數(shù)據(jù)集的全球性網(wǎng)站。用簡(jiǎn)單的腳本語(yǔ)言-不超過一頁(yè)，就可以處理TB級(jí)別的圖數(shù)據(jù)。

6.3 在Infochimps，有twitter，faceboobk的數(shù)據(jù)集;有wiki百科數(shù)據(jù)集;線蟲項(xiàng)目神經(jīng)愿和突觸的聯(lián)系;高速公路地圖等等。

6.4 在網(wǎng)絡(luò)圖分析上可以做出很多很好玩的有趣東東。