Hadoop平臺存儲策略的研究與優(yōu)化.pdf

1、隨著經(jīng)濟、社會以及科學(xué)技術(shù)的發(fā)展，數(shù)字信息正在經(jīng)歷爆炸式的增長。信息化和互聯(lián)網(wǎng)的發(fā)展以及廉價的存儲設(shè)備的出現(xiàn)，為海量信息存儲提供了動力和物理基礎(chǔ)。數(shù)據(jù)量比較小的時候，存儲和備份數(shù)據(jù)比較簡單，隨著數(shù)據(jù)量達(dá)到TB甚至PB級別，存儲和備份如此龐大的數(shù)據(jù)成為一個棘手的問題，而且人們對數(shù)據(jù)的存儲效率和安全性的要求也在不斷的提高。如何高效的存儲和讀取數(shù)據(jù)成為人們關(guān)注的重點，云計算是目前比較成熟的方案，是對數(shù)據(jù)存儲和數(shù)據(jù)安全的一個有效解決辦法，能夠提

2、高數(shù)據(jù)的安全性和存儲速度。Hadoop是云計算里面比較流行的框架，具體高可靠性、高效性、高擴展性和高容錯性的優(yōu)勢。而且它是開源框架，非常適合科研和應(yīng)用，所以本文選擇Hadoop框架作為云計算的研究對象。
　　基于如何高效存儲海量數(shù)據(jù)的問題，本文在分析Hadoop的HDFS(HadoopDistributed File System)原理和存儲策略基礎(chǔ)上，結(jié)合實際應(yīng)用Hadoop平臺遇到的問題，分析其HDFS文件系統(tǒng)數(shù)據(jù)存儲策略的局

3、限和不足，提出了HDFS分布式文件系統(tǒng)的優(yōu)化存儲策略DIFT(Dstat Iostat Free Top)。DIFT存儲策略利用更完善的數(shù)據(jù)節(jié)點的狀態(tài)信息作為策略依據(jù)，能夠提高集群的磁盤和網(wǎng)絡(luò)帶寬的利用率，減少瓶頸出現(xiàn)的可能性，提高了系統(tǒng)性能，使集群具有更好的負(fù)載均衡和用戶體驗。
　　本文主要研究內(nèi)容是：首先對Hadoop的HDFS模型的原理研究和分析，從控制節(jié)點、數(shù)據(jù)節(jié)點、文件塊的數(shù)據(jù)結(jié)構(gòu)以及接口、類、方法的調(diào)用關(guān)系方面詳細(xì)分析

4、和研究，分析HDFS的運行原理和功能的實現(xiàn)方法。其次從數(shù)據(jù)結(jié)構(gòu)、狀態(tài)信息、心跳協(xié)議等方面研究和設(shè)計DIFT存儲策略的實現(xiàn)，最后編譯含有DIFT存儲策略的Hadoop代碼，把DIFT存儲策略應(yīng)用到Hadoop集群上，實驗驗證和測試策略的效果。DIFT存儲策略具有可配置的特性，設(shè)計時充分考慮用戶實際情況的特殊性，用戶可以根據(jù)自己實際需求設(shè)置符合實際應(yīng)用的策略配置。實驗證明，DIFT存儲策略提高了Hadoop的HDFS分布式文件系統(tǒng)的存儲效率