版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
1、深入理解Hadoop集群和網(wǎng)絡(luò)摘要:摘要:本文將著重于討論Hadoop集群的體系結(jié)構(gòu)和方法,及它如何涉及到網(wǎng)絡(luò)和服務(wù)器基礎(chǔ)設(shè)施。開始我們先學(xué)習(xí)一下Hadoop集群運作的基礎(chǔ)。導(dǎo)讀:云計算和導(dǎo)讀:云計算和Hadoop中網(wǎng)絡(luò)是討論得相對比較少的領(lǐng)域。本文中網(wǎng)絡(luò)是討論得相對比較少的領(lǐng)域。本文原文原文由Dell企業(yè)技術(shù)專家企業(yè)技術(shù)專家BradHedlund撰寫,他撰寫,他曾在思科工作多年,專長是數(shù)據(jù)中心、云網(wǎng)絡(luò)等。文章素材基于作者自己的研究、實
2、驗和曾在思科工作多年,專長是數(shù)據(jù)中心、云網(wǎng)絡(luò)等。文章素材基于作者自己的研究、實驗和Cloudera的培訓(xùn)資料。的培訓(xùn)資料。本文將著重于討論Hadoop集群的體系結(jié)構(gòu)和方法,及它如何與網(wǎng)絡(luò)和服務(wù)器基礎(chǔ)設(shè)施的關(guān)系。最開始我們先學(xué)習(xí)一下Hadoop集群運作的基礎(chǔ)原理。Hadoop里的服務(wù)器角色Hadoop主要的任務(wù)部署分為3個部分,分別是:Client機器,主節(jié)點和從節(jié)點。主節(jié)點主要負責(zé)Hadoop兩個關(guān)鍵功能模塊HDFS、MapReduce
3、的監(jiān)督。當(dāng)JobTracker使用MapReduce進行監(jiān)控和調(diào)度數(shù)據(jù)的并行處理時,NameNode則負責(zé)HDFS監(jiān)視和調(diào)度。從節(jié)點負責(zé)了機器運行的絕大部分,擔(dān)當(dāng)所有數(shù)據(jù)儲存和指令計算的苦差。每個從節(jié)點既扮演者數(shù)據(jù)節(jié)點的角色又沖當(dāng)與他們主節(jié)點通信的守護進程。守護進程隸屬于JobTracker,數(shù)據(jù)節(jié)點在歸屬于名稱節(jié)點。Client機器集合了Hadoop上所有的集群設(shè)置,但既不包括主節(jié)點也不包括從節(jié)點。取而代之的是客戶端機器的作用是把數(shù)據(jù)
4、加載到集群中,遞交給MapReduce數(shù)據(jù)處理工作的描述,并在工作結(jié)束后取回或者查看結(jié)果。在小的集群中hadoop的工作流程在計算機行業(yè)競爭如此激烈的情況下,究竟什么是Hadoop的生存之道?它又切實的解決了什么問題?簡而言之,商業(yè)及政府都存在大量的數(shù)據(jù)需要被快速的分析和處理。把這些大塊的數(shù)據(jù)切開,然后分給大量的計算機,讓計算機并行的處理這些數(shù)據(jù)—這就是Hadoop能做的。下面這個簡單的例子里,我們將有一個龐大的數(shù)據(jù)文件(給客服部門的電
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
評論
0/150
提交評論