hadoop環(huán)境配置與實驗報告

1、 研究生課程考試成績單 （試卷封面） 院 系 計算機(jī)科學(xué)與工程 專業(yè) 計算機(jī)科學(xué)與技術(shù) 學(xué)生姓名 李富豪 學(xué)號 131440 課程名稱 計算機(jī)新技術(shù)綜合實踐 授課時間 2014 年 4 月 至 2014 年 6 月 周學(xué)時 1 學(xué)分 2 簡 要 評 語 （1） 小組答辯過程表述很清晰； （2） 實驗結(jié)果的演示表明搭建的系統(tǒng)以及編寫的程序很好地滿足功能要求； （3） 報告內(nèi)容很好地符合要求。 考核論題 總評

2、成績 （含平時成績） 備注 任課教師簽名：日期： 2014.7 注：1. 以論文或大作業(yè)為考核方式的課程必須填此表，綜合考試可不填。 “簡要評語”欄缺填無效。 2. 任課教師填寫后與試卷一起送院系研究生秘書處。 3. 學(xué)位課總評成績以百分制計分。 hadoop 環(huán)境配置與試驗報告 3 1 集群部署介紹 1.1 Hadoop簡介 Hadoop 是 Apache 軟件基金會旗下的一個開源分布式計算平臺。以 Hado

3、op 分布式文件系統(tǒng)（HDFS，Hadoop Distributed Filesystem）和 MapReduce（Google MapReduce的開源實現(xiàn)）為核心的 Hadoop 為用戶提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)。 對于 Hadoop 的集群來講，可以分成兩大類角色：Master 和 Salve。一個 HDFS 集群是由一個 NameNode 和若干個 DataNode 組成的。其中 NameNode 作為主服務(wù)器，管理

4、文件系統(tǒng)的命名空間和客戶端對文件系統(tǒng)的訪問操作；集群中的 DataNode 管理存儲的數(shù)據(jù)。MapReduce 框架是由一個單獨運行在主節(jié)點上的 JobTracker 和運行在每個集群從節(jié)點的 TaskTracker 共同組成的。 主節(jié)點負(fù)責(zé)調(diào)度構(gòu)成一個作業(yè)的所有任務(wù)，這些任務(wù)分布在不同的從節(jié)點上。主節(jié)點監(jiān)控它們的執(zhí)行情況，并且重新執(zhí)行之前的失敗任務(wù)；從節(jié)點僅負(fù)責(zé)由主節(jié)點指派的任務(wù)。當(dāng)一個 Job 被提交時，JobTracker 接收到

5、提交作業(yè)和配置信息之后，就會將配置信息等分發(fā)給從節(jié)點，同時調(diào)度任務(wù)并監(jiān)控 TaskTracker 的執(zhí)行。 從上面的介紹可以看出，HDFS 和 MapReduce 共同組成了 Hadoop 分布式系統(tǒng)體系結(jié)構(gòu)的核心。HDFS在集群上實現(xiàn)分布式文件系統(tǒng)，MapReduce 在集群上實現(xiàn)了分布式計算和任務(wù)處理。HDFS 在 MapReduce 任務(wù)處理過程中提供了文件操作和存儲等支持，MapReduce 在 HDFS 的基礎(chǔ)上實現(xiàn)了任務(wù)的分

6、發(fā)、跟蹤、執(zhí)行等工作，并收集結(jié)果，二者相互作用，完成了 Hadoop 分布式集群的主要任務(wù)。 1.2 環(huán)境說明 集群中包括 4 個節(jié)點：1 個 Master，3 個 Salve，節(jié)點之間局域網(wǎng)連接，可以相互 ping 通。節(jié)點 IP 地址分布如下： 機(jī)器名稱 機(jī)器名稱 IP 地址 地址 computer1（Master） 192.168.111.1 computer2（salve） 192.168.111.2 computer

7、3（salve） 192.168.111.3 computer_test（salve） 192.168.111.4 四個節(jié)點上均是 Ubuntu10.0 系統(tǒng)，并且有一個相同的用戶 hadoop。Master 機(jī)器主要配置 NameNode 和JobTracker 的角色，負(fù)責(zé)總管分布式數(shù)據(jù)和分解任務(wù)的執(zhí)行；3 個 Salve 機(jī)器配置 DataNode 和 TaskTracker 的角色，負(fù)責(zé)分布式數(shù)據(jù)存儲以及任務(wù)的執(zhí)行。其實應(yīng)該

8、還應(yīng)該有 1 個 Master 機(jī)器，用來作為備用，以防止Master 服務(wù)器宕機(jī)，還有一個備用馬上啟用。后續(xù)經(jīng)驗積累一定階段后補(bǔ)上一臺備用 Master 機(jī)器。 1.3 網(wǎng)絡(luò)配置 下面的例子我們將以 Master 機(jī)器為例，即主機(jī)名為“computer1“，IP 為“192.168.111.1“進(jìn)行一些主機(jī)名配置的相關(guān)操作。其他的 Slave 機(jī)器以此為依據(jù)進(jìn)行修改。 1.3.1 編輯當(dāng)前機(jī)器名稱 用下面命令進(jìn)行顯示機(jī)器名稱，