1. 簡單描述如何安裝配置一個(gè)apache開源版hadoop，只描述即可，無需列出完整步驟，能列出步驟更好。

1 ) 安裝JDK并配置環(huán)境變量（/etc/profile）

2) 關(guān)閉防火墻

3) 配置hosts文件，方便hadoop通過主機(jī)名訪問（/etc/hosts）

4) 設(shè)置ssh免密碼登錄

5) 解壓縮hadoop安裝包，并配置環(huán)境變量

6) 修改配置文件（ $HADOOP_HOME/conf ）

hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml

7) 格式化hdfs文件系統(tǒng) （hadoop namenode -format）

8) 啟動(dòng)hadoop （ $HADOOP_HOME/bin/start-all.sh ）

9) 使用jps查看進(jìn)程

2. 請列出正常工作的hadoop集群中hadoop都分別需要啟動(dòng)那些進(jìn)程，他們的作用分別是什么，盡可能寫的全面些。

1) NameNode: HDFS的守護(hù)進(jìn)程，負(fù)責(zé)記錄文件是如何分割成數(shù)據(jù)塊，以及這些數(shù)據(jù)塊分別被存儲到那些數(shù)據(jù)節(jié)點(diǎn)上，它的主要功能是對內(nèi)存及IO進(jìn)行集中管理

2) Secondary NameNode：輔助后臺程序，與NameNode進(jìn)行通信，以便定期保存HDFS元數(shù)據(jù)的快照。

3) DataNode：負(fù)責(zé)把HDFS數(shù)據(jù)塊讀寫到本地的文件系統(tǒng)。

4) JobTracker：負(fù)責(zé)分配task，并監(jiān)控所有運(yùn)行的task。

5) TaskTracker：負(fù)責(zé)執(zhí)行具體的task，并與JobTracker進(jìn)行交互。

3. 請列出你所知道的hadoop調(diào)度器，并簡要說明其工作方法。

比較流行的三種調(diào)度器有：默認(rèn)調(diào)度器FIFO，計(jì)算能力調(diào)度器Capacity Scheduler ，公平調(diào)度器Fair Scheduler

1) 默認(rèn)調(diào)度器FIFO

hadoop中默認(rèn)的調(diào)度器，采用先進(jìn)先出的原則

2)　計(jì)算能力調(diào)度器Capacity Scheduler

選擇占用資源小，優(yōu)先級高的先執(zhí)行

3)　公平調(diào)度器Fair Scheduler

同一隊(duì)列中的作業(yè)公平共享隊(duì)列中所有資源

4. Hive有那些方式保存元數(shù)據(jù)的，各有那些特點(diǎn)。

1) 內(nèi)存數(shù)據(jù)庫derby，較小，不常用

2) 本地mysql，較常用

3) 遠(yuǎn)程mysql，不常用

5. 請簡述hadoop怎樣實(shí)現(xiàn)二級排序。

在Hadoop中，默認(rèn)情況下是按照key進(jìn)行排序，如果要按照value進(jìn)行排序怎么辦？

有兩種方法進(jìn)行二次排序，分別為：buffer and in memory sort和 value-to-key conversion。

buffer and in memory sort

主要思想是：在reduce()函數(shù)中，將某個(gè)key對應(yīng)的所有value保存下來，然后進(jìn)行排序。 這種方法最大的缺點(diǎn)是：可能會造成out of memory。

value-to-key conversion

主要思想是：將key和部分value拼接成一個(gè)組合key（實(shí)現(xiàn)WritableComparable接口或者調(diào) setSortComparatorClass函數(shù)），這樣reduce獲取的結(jié)果便是先按key排序，后按value排序的結(jié)果，需要注意的是，用戶需 要自己實(shí)現(xiàn)Paritioner，以便只按照key進(jìn)行數(shù)據(jù)劃分。Hadoop顯式的支持二次排序，在Configuration類中有個(gè) setGroupingComparatorClass()方法，可用于設(shè)置排序group的key值

http://dongxicheng.org/mapreduce/hadoop-join-two-tables/

6. 簡述hadoop實(shí)現(xiàn)Join的幾種方法。

1) reduce side join

reduce side join是一種最簡單的join方式，其主要思想如下：

在map階段，map函數(shù)同時(shí)讀取兩個(gè)文件File1和File2，為了區(qū)分兩種來源的key/value數(shù)據(jù)對，對每條數(shù)據(jù)打一個(gè)標(biāo)簽 （tag）,比如：tag=0表示來自文件File1，tag=2表示來自文件File2。即：map階段的主要任務(wù)是對不同文件中的數(shù)據(jù)打標(biāo)簽。

在reduce階段，reduce函數(shù)獲取key相同的來自File1和File2文件的value list， 然后對于同一個(gè)key，對File1和File2中的數(shù)據(jù)進(jìn)行join（笛卡爾乘積）。即：reduce階段進(jìn)行實(shí)際的連接操作。

2) map side join

之所以存在reduce side join，是因?yàn)樵趍ap階段不能獲取所有需要的join字段，即：同一個(gè)key對應(yīng)的字段可能位于不同map中。Reduce side join是非常低效的，因?yàn)閟huffle階段要進(jìn)行大量的數(shù)據(jù)傳輸。

Map side join是針對以下場景進(jìn)行的優(yōu)化：兩個(gè)待連接表中，有一個(gè)表非常大，而另一個(gè)表非常小，以至于小表可以直接存放到內(nèi)存中。這樣，我們可以將小表復(fù)制多 份，讓每個(gè)map task內(nèi)存中存在一份（比如存放到hash table中），然后只掃描大表：對于大表中的每一條記錄key/value，在hash table中查找是否有相同的key的記錄，如果有，則連接后輸出即可。

為了支持文件的復(fù)制，Hadoop提供了一個(gè)類DistributedCache，使用該類的方法如下：

（1）用戶使用靜態(tài)方法DistributedCache.addCacheFile()指定要復(fù)制的文件，它的參數(shù)是文件的URI（如果是 HDFS上的文件，可以這樣：hdfs://namenode:9000/home/XXX/file，其中9000是自己配置的NameNode端口 號）。JobTracker在作業(yè)啟動(dòng)之前會獲取這個(gè)URI列表，并將相應(yīng)的文件拷貝到各個(gè)TaskTracker的本地磁盤上。（2）用戶使用 DistributedCache.getLocalCacheFiles()方法獲取文件目錄，并使用標(biāo)準(zhǔn)的文件讀寫API讀取相應(yīng)的文件。

3) SemiJoin

SemiJoin，也叫半連接，是從分布式數(shù)據(jù)庫中借鑒過來的方法。它的產(chǎn)生動(dòng)機(jī)是：對于reduce side join，跨機(jī)器的數(shù)據(jù)傳輸量非常大，這成了join操作的一個(gè)瓶頸，如果能夠在map端過濾掉不會參加join操作的數(shù)據(jù)，則可以大大節(jié)省網(wǎng)絡(luò)IO。

實(shí)現(xiàn)方法很簡單：選取一個(gè)小表，假設(shè)是File1，將其參與join的key抽取出來，保存到文件File3中，F(xiàn)ile3文件一般很小，可以放 到內(nèi)存中。在map階段，使用DistributedCache將File3復(fù)制到各個(gè)TaskTracker上，然后將File2中不在File3中的 key對應(yīng)的記錄過濾掉，剩下的reduce階段的工作與reduce side join相同。

更多關(guān)于半連接的介紹，可參考：半連接介紹：

4) reduce side join + BloomFilter

在某些情況下，SemiJoin抽取出來的小表的key集合在內(nèi)存中仍然存放不下，這時(shí)候可以使用BloomFiler以節(jié)省空間。

BloomFilter最常見的作用是：判斷某個(gè)元素是否在一個(gè)集合里面。它最重要的兩個(gè)方法是：add() 和contains()。最大的特點(diǎn)是不會存在false negative，即：如果contains()返回false，則該元素一定不在集合中，但會存在一定的true negative，即：如果contains()返回true，則該元素可能在集合中。

因而可將小表中的key保存到BloomFilter中，在map階段過濾大表，可能有一些不在小表中的記錄沒有過濾掉（但是在小表中的記錄一定不會過濾掉），這沒關(guān)系，只不過增加了少量的網(wǎng)絡(luò)IO而已。

更多關(guān)于BloomFilter的介紹

7. 請簡述MapReduce中combiner、partition的作用。

1. 某個(gè)目錄中有兩個(gè)文件a.txt和b.txt，文件格式為(ip username)，例如：

a.txt

127.0.0.1 zhangsan

127.0.0.1 wangxiaoer

127.0.0.2 lisi

127.0.0.3 wangwu

b.txt

127.0.0.4 lixiaolu

127.0.0.1 lisi

每個(gè)文件至少有100萬行，請使用linux命令行完成如下工作：

1) 兩個(gè)文件各自的ip數(shù)，以及總ip數(shù)

2) 出現(xiàn)在b.txt而沒有出現(xiàn)在a.txt的ip

3) 每個(gè)username出現(xiàn)的次數(shù)以及每個(gè)username對應(yīng)的ip數(shù)