小文件存取優(yōu)化方法的研究與應(yīng)用.pdf

1、隨著信息技術(shù)的提高和互聯(lián)網(wǎng)飛速發(fā)展，企業(yè)和個(gè)人數(shù)據(jù)出現(xiàn)爆炸式增長(zhǎng)。研究調(diào)查預(yù)測(cè)到2020年全球數(shù)據(jù)量將達(dá)到35ZB。大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨，傳統(tǒng)數(shù)據(jù)存儲(chǔ)方式已經(jīng)無(wú)法滿足大數(shù)據(jù)時(shí)代的海量數(shù)據(jù)存儲(chǔ)需求，而以HDFS為代表的分布式文件系統(tǒng)憑借其高可靠性、高可擴(kuò)展、高容錯(cuò)性、低成本等特點(diǎn)為大數(shù)據(jù)時(shí)代的海量數(shù)據(jù)存取提供了全新的模式。然而，HDFS在處理小文件時(shí)存在存取效率低，元數(shù)據(jù)信息存儲(chǔ)消耗內(nèi)存大以及系統(tǒng)數(shù)據(jù)冗余度高等問(wèn)題。因此海量小文件的存儲(chǔ)方法

2、的研究與優(yōu)化成為國(guó)內(nèi)外研究的熱門之一。
　　本文對(duì)HDFS分布式文件系統(tǒng)進(jìn)行了全面分析，并介紹了重復(fù)數(shù)據(jù)刪除技術(shù)，同時(shí)分析了基于HDFS系統(tǒng)存儲(chǔ)海量小文件時(shí)存在的不足。針對(duì)網(wǎng)絡(luò)中的存在大量的小文件及重復(fù)數(shù)據(jù)，分別采用了相應(yīng)的的處理策略。本文的主要研究?jī)?nèi)容和創(chuàng)新點(diǎn)如下：
　　(1)提出基于相似度的小文件合并算法。首先設(shè)計(jì)了提取文件關(guān)鍵字策略，對(duì)文件的關(guān)鍵字利用漢明距離進(jìn)行相似度計(jì)算，將相關(guān)的小文件合并成大文件上傳到HDFS上；

3、結(jié)合小文件合并方案，對(duì)小文件的元數(shù)據(jù)結(jié)構(gòu)、存儲(chǔ)位置進(jìn)行了分析，同時(shí)，對(duì)小文件的讀寫操作流程進(jìn)行了詳細(xì)的設(shè)計(jì),有效地減少了系統(tǒng)的I/O操作，緩解了NameNode存儲(chǔ)元數(shù)據(jù)的壓力，間接地增加系統(tǒng)的存儲(chǔ)容量。
　　(2)針對(duì)系統(tǒng)中存在數(shù)據(jù)高度冗余問(wèn)題，本文在基于TTTD算法的基礎(chǔ)上提出了IOTD優(yōu)化算法，可以明顯地減小文件分塊大小的不確定性，提高數(shù)據(jù)去重率，同時(shí)為了加快數(shù)據(jù)去重中查詢索引表的速度，引入RUH表，通過(guò)MapReduce編