面向云存儲的非結(jié)構(gòu)化數(shù)據(jù)存儲研究與應(yīng)用.pdf

1、計算機應(yīng)用的不斷發(fā)展導(dǎo)致了數(shù)據(jù)量的急劇攀升，由于數(shù)據(jù)結(jié)構(gòu)化過于受限于人工處理，非結(jié)構(gòu)化數(shù)據(jù)的增長速度遠(yuǎn)遠(yuǎn)大于結(jié)構(gòu)化數(shù)據(jù)。如何存儲應(yīng)用系統(tǒng)中需要處理的非結(jié)構(gòu)化數(shù)據(jù)，包括文本、圖像、音頻、視頻、PDF、電子表格等，是常常困擾系統(tǒng)設(shè)計人員的問題。非結(jié)構(gòu)化數(shù)據(jù)的存儲通常有兩種方式，一是使用文件系統(tǒng)以文件的方式存儲，將文件的路徑或者鏈接存儲在關(guān)系型數(shù)據(jù)庫表中。這種存儲方式的優(yōu)點是數(shù)據(jù)的讀寫速度快，缺點是數(shù)據(jù)的管理不方便，并且還需要考慮數(shù)據(jù)的安全性

2、和事務(wù)處理的一致性;另一種是將這些數(shù)據(jù)存儲在傳統(tǒng)的數(shù)據(jù)庫表的大對象字段中，這種方式充分利用數(shù)據(jù)庫的事務(wù)、管理和安全性，但是可能帶來數(shù)據(jù)查詢和讀寫上的性能問題。這就促使我們要對海量非結(jié)構(gòu)數(shù)據(jù)的存儲進(jìn)行研究和分析。
　　云存儲是網(wǎng)格、并行和分布式計算等眾多技術(shù)發(fā)展和延伸，云存儲實現(xiàn)了存儲的完全虛擬化，提供更強大的存儲及共享功能。制約非結(jié)構(gòu)化數(shù)據(jù)存儲的關(guān)鍵因素是，數(shù)據(jù)中心與異構(gòu)終端之間的數(shù)據(jù)共享程度不夠高，存儲系統(tǒng)的高并發(fā)讀寫能力欠缺，

3、存儲系統(tǒng)的線性擴展能力比較差。本文以云存儲、NoSQL技術(shù)等相關(guān)領(lǐng)域為研究背景，提出面向云存儲的非結(jié)構(gòu)化數(shù)據(jù)存儲方案，將數(shù)據(jù)分布到云中進(jìn)行分節(jié)點處理，這樣做不僅降低成本，而且提高數(shù)據(jù)的存儲能力。
　　論文首先論述了非結(jié)構(gòu)數(shù)據(jù)的存儲現(xiàn)狀及云存儲的發(fā)展前景，研究了非結(jié)構(gòu)化數(shù)據(jù)的存儲方式，探討了當(dāng)前存儲方式的特點和不足。接著研究了云環(huán)境下的三種存儲技術(shù)，并對云環(huán)境下新型數(shù)據(jù)庫技術(shù)NoSQL以及非關(guān)系型數(shù)據(jù)庫MongoDB進(jìn)行了論述，結(jié)合

4、非結(jié)構(gòu)化數(shù)據(jù)的特點、云存儲的優(yōu)勢以及MongoDB的數(shù)據(jù)存儲特性，提出非結(jié)構(gòu)化數(shù)據(jù)云存儲的必要性?；诋?dāng)前流行的hadoop云平臺，設(shè)計了非結(jié)構(gòu)化數(shù)據(jù)的云存儲平臺。在此平臺中，將非結(jié)構(gòu)化數(shù)據(jù)與其元數(shù)據(jù)信息進(jìn)行分離式存儲，非結(jié)構(gòu)化數(shù)據(jù)以文件的方式存儲在HDFS分布式文件系統(tǒng)中，元數(shù)據(jù)信息改用MongoDB進(jìn)行存儲。然后設(shè)計實驗驗證平臺的可行性和有效性，實驗結(jié)果表明，MongoDB存儲元數(shù)據(jù)信息，可以加快數(shù)據(jù)的訪問速度，NameNode節(jié)點