基于對(duì)象分布式文件系統(tǒng)的存儲(chǔ)緩存研究.pdf

1、私用雹彳吁搬大予題碩士詳學(xué)位細(xì)摘論文要指導(dǎo)教師萬(wàn)健教授杭州電子科技人學(xué)碩十學(xué)位論文詳細(xì)摘要隨著信息技術(shù)的發(fā)展，當(dāng)今社會(huì)的數(shù)據(jù)信息量呈指數(shù)增長(zhǎng)，很多存儲(chǔ)平臺(tái)的量級(jí)都上升為PB級(jí)別。作為海量數(shù)據(jù)存儲(chǔ)系統(tǒng)在用戶(hù)層上普遍使用的管理平臺(tái)一分布式文件系統(tǒng)已經(jīng)日漸成熟，其可以以透明方式連接共享文件夾和文件服務(wù)器，將不同位置的文件數(shù)據(jù)映射到單一的邏輯層次，以達(dá)到用戶(hù)訪(fǎng)問(wèn)和管理的便捷性，它的高效性、通用性、可靠性、擴(kuò)展性也一直都是人們研究的熱點(diǎn)?；趯?duì)象

2、分布式文件系統(tǒng)在海量存儲(chǔ)時(shí)表現(xiàn)出了更好的性能，越來(lái)越受到廣泛關(guān)注?，F(xiàn)如今在成型的基于對(duì)象分布式文件系統(tǒng)上，存儲(chǔ)集群對(duì)數(shù)據(jù)對(duì)象的部署往往都是單一層次分布的，它根據(jù)對(duì)象ID近似隨機(jī)的把存儲(chǔ)內(nèi)容分布到各個(gè)基于對(duì)象存儲(chǔ)設(shè)備當(dāng)中。其中，在每個(gè)存儲(chǔ)設(shè)備的智能化管理當(dāng)中，已經(jīng)擁有了利用系統(tǒng)內(nèi)存緩存當(dāng)臺(tái)存儲(chǔ)設(shè)備中熱點(diǎn)文件的緩存機(jī)制。但是，對(duì)于整個(gè)存儲(chǔ)集群來(lái)說(shuō)，還缺少針對(duì)所有存儲(chǔ)數(shù)據(jù)的緩存機(jī)制。而對(duì)象文件系統(tǒng)也恰好因?yàn)闆](méi)有對(duì)訪(fǎng)問(wèn)頻率比較高的熱點(diǎn)文件進(jìn)行緩

3、存處理而存在問(wèn)題，所以在基于對(duì)象分布式文件系統(tǒng)中對(duì)網(wǎng)絡(luò)緩存技術(shù)的引入有著重大的研究意義。在該研究領(lǐng)域中，網(wǎng)絡(luò)緩存按照其部署位置一般分為兩類(lèi)進(jìn)行研究：(1)把代理服務(wù)器部署在近客戶(hù)端，其負(fù)責(zé)分析與之相近的客戶(hù)端群的訪(fǎng)問(wèn)特征而后進(jìn)行緩存。(2)把代理服務(wù)器部署在近服務(wù)器端，其負(fù)責(zé)全部存儲(chǔ)數(shù)據(jù)的訪(fǎng)問(wèn)特征而后對(duì)高頻訪(fǎng)問(wèn)對(duì)象進(jìn)行緩存。在基于對(duì)象分布式文件系統(tǒng)中，由于網(wǎng)絡(luò)緩存技術(shù)的適用性，代理服務(wù)器可以部署在客戶(hù)端、元數(shù)據(jù)服務(wù)器端和存儲(chǔ)集群端。而現(xiàn)

4、如今在海量存儲(chǔ)領(lǐng)域中，基于對(duì)象存儲(chǔ)文件系統(tǒng)的存儲(chǔ)集群的單一層次化管理在異構(gòu)存儲(chǔ)環(huán)境下也會(huì)發(fā)生以上提到的問(wèn)題。大部分基于對(duì)象文件系統(tǒng)都是把數(shù)據(jù)對(duì)象通過(guò)偽隨機(jī)函數(shù)近似隨機(jī)的平均分配到每臺(tái)存儲(chǔ)設(shè)備上，對(duì)于每個(gè)數(shù)據(jù)對(duì)象而言，分配到某臺(tái)存儲(chǔ)設(shè)備上的概率是一樣的。存儲(chǔ)在基于對(duì)象存儲(chǔ)設(shè)備中的數(shù)據(jù)內(nèi)容往往是存儲(chǔ)系統(tǒng)中信息量最大的部分。對(duì)于數(shù)據(jù)內(nèi)容的網(wǎng)絡(luò)傳輸速率快慢直接影響存儲(chǔ)系統(tǒng)的網(wǎng)絡(luò)開(kāi)銷(xiāo)及其I／O性能。所以在異構(gòu)存儲(chǔ)環(huán)境下，若元數(shù)據(jù)屬性中訪(fǎng)問(wèn)頻率比較

5、高的熱點(diǎn)文件被隨機(jī)部署在性能較低或者傳輸延遲較高的對(duì)象存儲(chǔ)設(shè)備上，則會(huì)造成該高頻訪(fǎng)問(wèn)的數(shù)據(jù)對(duì)象將會(huì)在系統(tǒng)中以低速率高時(shí)延處理。因此，研究基于對(duì)象分布式文件系統(tǒng)的網(wǎng)絡(luò)緩存技術(shù)有著重大的意義。本文在閱讀國(guó)內(nèi)外的相關(guān)文獻(xiàn)基礎(chǔ)上，研究了基于對(duì)象分布式文件系統(tǒng)和網(wǎng)絡(luò)緩存的各個(gè)關(guān)鍵技術(shù)，針對(duì)當(dāng)前基于對(duì)象分布式文件系統(tǒng)在異構(gòu)存儲(chǔ)環(huán)境中對(duì)高頻訪(fǎng)問(wèn)熱點(diǎn)文件無(wú)緩存機(jī)制的不足，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于對(duì)象分布式文件系統(tǒng)的存儲(chǔ)緩存系統(tǒng)，本文的主要工作總結(jié)如下：(1