基于Hadoop的分布式文件系統(tǒng)優(yōu)化技術(shù)研究.pdf

1、隨著移動互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)中的數(shù)據(jù)量急劇增加，這些數(shù)據(jù)經(jīng)過分析和挖掘后可以得到非常有價值的信息，這些信息可用于商業(yè)、科研、生產(chǎn)等各方面研究。急劇增長的海量數(shù)據(jù)如果使用傳統(tǒng)的超級計算機來處理會帶來高昂的花費、巨大的能源消耗，而云計算作為一種廉價、高效、可靠的解決方案得到了人們的關(guān)注。Hadoop是一個開源的云數(shù)據(jù)處理平臺，可以廣泛的應(yīng)用于海量數(shù)據(jù)的處理和分析。云平臺采用了分布式文件系統(tǒng)，著名的分布式文件系統(tǒng)有Lustre、GPFS(Gen

2、eralParallelFileSystem)等，這些系統(tǒng)的設(shè)計都是基于大型機，不適合目前以微機為主的云計算環(huán)境。
　　本文采用GlusterFS作為云平臺的分布式文件系統(tǒng)，GlusterFS是一個適用于微機的分布式文件系統(tǒng)。本文首先要實現(xiàn)GlusterFS與Hadoop的核心模塊Common的連接，這點的實現(xiàn)本文利用了GlusterFS自身的Translator機制，該機制能夠?qū)崿F(xiàn)所有GlusterFS的擴展功能。利用Trans

3、lator中的庫函數(shù)連接Hadoop的Common核心，獲取相應(yīng)存儲權(quán)限并定義了org.apache.hadoop.fs.glusterfs類，然后創(chuàng)建符合GlusterFS數(shù)據(jù)格式的數(shù)據(jù)流并采用FUSE(FilesysteminUserspace)方式將GlusterFS掛載到了Hadoop中，從而替代了Hadop中自身的分布式文件系統(tǒng)HDFS（HadoopDistributedFileSystem）。這樣就能避開HDFS的缺陷，利用

4、GlusterFS的優(yōu)點提升Hadoop整體的云計算性能。該方案實現(xiàn)的優(yōu)化平臺采用了Infiniband與RDMA(RemoteDirectMemoryAccess)協(xié)議結(jié)合的傳輸網(wǎng)絡(luò)，該網(wǎng)絡(luò)能保證Hadoop不會受到網(wǎng)絡(luò)帶寬和速率的限制，進一步提高了Hadoop的性能;根據(jù)系統(tǒng)中網(wǎng)絡(luò)擁塞情況，采用了一個判斷函數(shù)來決定是否在當(dāng)前網(wǎng)絡(luò)中采用數(shù)據(jù)壓縮以節(jié)省網(wǎng)絡(luò)的帶寬，進一步提升了Hadoop的數(shù)據(jù)傳輸速率;針對當(dāng)前GlusterFS的數(shù)據(jù)緩

5、存算法考慮的不是很全面，采用了GAC(GlusterFSAutomaticCacheAlgorithm)數(shù)據(jù)緩存算法，該算法先對當(dāng)前數(shù)據(jù)的順序性進行有無判斷，再對有順序性的數(shù)據(jù)進行強弱判斷，針對強順序性的數(shù)據(jù)采用預(yù)讀粒度計算公式計算當(dāng)前預(yù)讀粒度的大小，這樣可以通過合理的預(yù)讀來提升Hadoop的文件系統(tǒng)性能。這一系列的優(yōu)化措施較大的提升了Hadoop平臺中分布式文件系統(tǒng)的性能。本文通過在Hadoop平臺上的測試，證明了本文的優(yōu)化Hadoo