版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
1、隨著社會信息化進程的不斷加速,各公司企業(yè)積累了大量的數(shù)據(jù)資料,尤其是小文件的數(shù)據(jù)量更是增長迅速。面對海量小文件數(shù)據(jù),傳統(tǒng)的單機系統(tǒng)既無法滿足存儲能力的需求,也無法進行高效的分析計算。為了解決單機系統(tǒng)面臨的難題,各種分布式系統(tǒng)逐漸被應(yīng)用到海量數(shù)據(jù)處理中來。Apache公司開發(fā)的Hadoop是一個優(yōu)秀的分布式平臺,它的分布式文件系統(tǒng) HDFS與分布式編程模型MapReduce分別為數(shù)據(jù)的存儲和計算提供了有力支持,基于Hadoop的數(shù)據(jù)處理系
2、統(tǒng)也得到了廣泛研究。但是,Hadoop起初是為了處理大型日志文件而設(shè)計的,它在存儲海量小文件時的性能并不好,因此,在面向海量小文件的數(shù)據(jù)處理系統(tǒng)中,需要研究的第一個問題就是如何對Hadoop進行優(yōu)化,以便高效地存儲這些數(shù)據(jù)文件。然而,存儲僅僅是系統(tǒng)要做的第一步工作,還需要對數(shù)據(jù)進行計算,如何基于Hadoop對數(shù)據(jù)進行統(tǒng)計分析,挖掘數(shù)據(jù)中的潛在價值,也是一個需要研究的問題。
本文深入分析了HDFS、MapReduce的工作原理,
3、結(jié)合海量小文件處理系統(tǒng)的需求,對基于Hadoop的海量小文件處理系統(tǒng)中的數(shù)據(jù)存儲與分析計算這兩項關(guān)鍵技術(shù)進行了研究,主要完成了如下工作:
?、傺芯苛薍adoop存儲海量小文件的不足,提出了一種在存儲之前對小文件進行合并的策略,該方法采用Hadoop自帶的歸檔工具對小文件進行合并,有效提升系統(tǒng)存儲小文件的性能,此外,合并后的文件可以直接作為MapReduce任務(wù)的輸入數(shù)據(jù),非常便于系統(tǒng)進行后續(xù)的分析處理。
?、谠趯π∥募M
4、行合并存儲的基礎(chǔ)之上,研究了經(jīng)典數(shù)據(jù)挖掘算法在Hadoop上的并行化實現(xiàn)方法,針對數(shù)據(jù)分析中經(jīng)常用到的聚類分析與頻繁模式挖掘這兩項技術(shù),分別選取了K-均值算法和FP-Growth算法進行基于 Hadoop的并行化設(shè)計與實現(xiàn)。
③最后,搭建了Hadoop的實驗平臺,對這兩項關(guān)鍵技術(shù)進行了仿真實驗。實驗結(jié)果表明,本文提出的先合并后存儲的方法能夠有效提高系統(tǒng)存儲海量小文件的性能,按照MapReduce模型并行化之后的數(shù)據(jù)挖掘算法也具
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- Hadoop小文件處理方法的研究與實現(xiàn).pdf
- Hadoop小文件處理技術(shù)的研究和實現(xiàn).pdf
- hadoop小文件處理技術(shù)的研究和實現(xiàn)
- Hadoop小文件處理技術(shù)的研究與優(yōu)化.pdf
- Hadoop小文件存儲管理的研究與實現(xiàn).pdf
- Hadoop中小文件處理技術(shù)的研究與優(yōu)化.pdf
- Hadoop平臺下的海量小文件處理研究.pdf
- Hadoop中海量小文件存取關(guān)鍵技術(shù)的設(shè)計與實現(xiàn).pdf
- 外文翻譯--對于hadoop處理小文件的性能優(yōu)化
- 外文翻譯--對于hadoop處理小文件的性能優(yōu)化
- Hadoop海量小文件處理技術(shù)的應(yīng)用研究.pdf
- 基于Hadoop的海量小文件處理技術(shù)研究.pdf
- Hadoop集群下海量小文件優(yōu)化處理.pdf
- 基于Hadoop的海量小文件處理性能研究與優(yōu)化.pdf
- 外文翻譯(中文)--對于hadoop處理小文件的性能優(yōu)化
- 外文翻譯(中文)--對于Hadoop處理小文件的性能優(yōu)化.docx
- 外文翻譯(中文)--對于Hadoop處理小文件的性能優(yōu)化.docx
- 基于hadoop的數(shù)據(jù)挖掘算法并行化研究與實現(xiàn)1.1
- 基于Hadoop的并行化算法實現(xiàn)及GPS數(shù)據(jù)實例分析.pdf
- Hadoop平臺下關(guān)聯(lián)規(guī)則算法并行化研究與實現(xiàn).pdf
評論
0/150
提交評論