基于Hadoop的能源數(shù)據(jù)存儲(chǔ)體系中多級(jí)索引表DHT算法的研究.pdf

1、分類(lèi)號(hào)密級(jí)UDC學(xué)位論文基于Hadoop的能源數(shù)據(jù)存儲(chǔ)體系中多級(jí)索引表DHT算法的研究（題名和副題名）王英杰（作者姓名）指導(dǎo)教師姓名湯羽教授電子科技大學(xué)成都（職務(wù)、職稱(chēng)、學(xué)位、單位名稱(chēng)及地址）申請(qǐng)學(xué)位級(jí)別碩士專(zhuān)業(yè)名稱(chēng)計(jì)算機(jī)應(yīng)用技術(shù)論文提交日期2012.04論文答辯日期2012.05學(xué)位授予單位和日期電子科技大學(xué)答辯委員會(huì)主席評(píng)閱人年月日摘要I摘要在21世紀(jì)的今天，能源問(wèn)題成為了一個(gè)嚴(yán)重影響人們生產(chǎn)和生活的問(wèn)題。目前的國(guó)內(nèi)形勢(shì)來(lái)看，進(jìn)入2

2、1世紀(jì)以來(lái)電力持續(xù)短缺，煤炭資源全面緊張，天然氣的價(jià)格也隨著需求的擴(kuò)大不斷提高。與此同時(shí)，電力、天然氣、煤炭資源等等資源的消耗與開(kāi)發(fā)產(chǎn)生了極大的數(shù)據(jù)量，如果能夠存儲(chǔ)和管理好這些數(shù)據(jù)可以為能源的節(jié)約和高效利用提供一個(gè)有效的途徑。能源數(shù)據(jù)在目前從數(shù)量上來(lái)說(shuō)已經(jīng)到了海量級(jí)。采用傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)SQLSERVER、MYSQL、ACLE等等雖然在目前仍然能夠勉強(qiáng)滿(mǎn)足存儲(chǔ)的需求，但是需要一個(gè)超大容量的存儲(chǔ)空間，擴(kuò)展性存在瓶頸。另一方面?zhèn)鹘y(tǒng)的關(guān)系數(shù)據(jù)

3、庫(kù)在面對(duì)海量數(shù)據(jù)的數(shù)據(jù)查詢(xún)請(qǐng)求時(shí)，查詢(xún)效率較低越來(lái)越變得難以讓人接受。怎樣解決在海量數(shù)據(jù)的背景下的存儲(chǔ)和精確查找成為了當(dāng)前的關(guān)鍵目標(biāo)。目前來(lái)看云存儲(chǔ)的技術(shù)對(duì)海量的能源數(shù)據(jù)進(jìn)行存儲(chǔ)和高效的管理是一種比較可行的方案。同時(shí)，高效準(zhǔn)確地在云存儲(chǔ)的環(huán)境下查找到需要的數(shù)據(jù)也成為了一個(gè)關(guān)鍵的問(wèn)題現(xiàn)有的查找算法雖然在一定程度上可以查找數(shù)據(jù)，但是目前仍然需要進(jìn)一步的改進(jìn)與性能提升。本文首先介紹了當(dāng)前的云存儲(chǔ)環(huán)境下的查找算法的背景與國(guó)內(nèi)外的發(fā)展水平，然后詳

4、細(xì)介紹了相關(guān)的技術(shù)和名詞。根據(jù)能源數(shù)據(jù)的特性和Hbase的表的特點(diǎn)，利用Hadoop平臺(tái)，設(shè)計(jì)了一個(gè)依托Hadoop和Hbase的存儲(chǔ)系統(tǒng)來(lái)存儲(chǔ)和管理能源數(shù)據(jù)。成功實(shí)現(xiàn)了能源數(shù)據(jù)的分布式存儲(chǔ)功能，然后對(duì)其模型做了進(jìn)一步的改進(jìn)。再在Hbase的基礎(chǔ)上進(jìn)行了快速查找算法的研究，設(shè)計(jì)了一個(gè)多級(jí)索引表查找算法，通過(guò)MapReduce編程模型實(shí)現(xiàn)了算法的仿真。仿真實(shí)驗(yàn)的結(jié)果證明了該查找算法()DHT的查找效率在云存儲(chǔ)的分布式環(huán)境下相比于傳統(tǒng)的數(shù)據(jù)