Hadoop平臺(tái)上結(jié)構(gòu)化數(shù)據(jù)的壓縮技術(shù)研究與實(shí)現(xiàn).pdf

1、隨著電子商務(wù)、社會(huì)計(jì)算、物聯(lián)網(wǎng)等新應(yīng)用的發(fā)展，促使相關(guān)數(shù)據(jù)的規(guī)模呈現(xiàn)出快速增長的趨勢，大數(shù)據(jù)正改變著人們的生活、工作和思維方式。準(zhǔn)確、高效地從大數(shù)據(jù)中挖掘出潛在的有用信息進(jìn)而支持決策變得越發(fā)重要，并逐步成為數(shù)據(jù)科學(xué)領(lǐng)域關(guān)注的熱點(diǎn)。
　　分布式存儲(chǔ)和計(jì)算平臺(tái)Hadoop以分布式文件系統(tǒng)HDFS和分布式計(jì)算框架MapReduce為核心，已成為大數(shù)據(jù)處理領(lǐng)域事實(shí)上的標(biāo)準(zhǔn)。數(shù)據(jù)壓縮是提高查詢處理性能的重要手段。出于通用性考慮， HDFS按

2、統(tǒng)一的方法存儲(chǔ)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，并支持常見的重量級壓縮方法，但查詢處理中需要解壓，且解壓開銷較大，結(jié)構(gòu)化數(shù)據(jù)的優(yōu)勢無法充分體現(xiàn)。在列存儲(chǔ)系統(tǒng)中，輕量級壓縮方法應(yīng)用十分普遍，且查詢處理可直接對壓縮數(shù)據(jù)進(jìn)行。然而，查詢處理中元組重構(gòu)是一個(gè)重要的性能瓶頸，尤其是在分布式環(huán)境下，元組重構(gòu)時(shí)巨大的網(wǎng)絡(luò)開銷制約了查詢處理性能。來源于PAX存儲(chǔ)模型的行列混合存儲(chǔ)結(jié)構(gòu)結(jié)合了行存儲(chǔ)和列存儲(chǔ)各自的優(yōu)勢，能夠?yàn)榉植际江h(huán)境下的大數(shù)據(jù)處理提供良好的存儲(chǔ)模型。

3、
　　本文主要研究內(nèi)容為Hadoop平臺(tái)上結(jié)構(gòu)化數(shù)據(jù)壓縮的設(shè)計(jì)與實(shí)現(xiàn)。首先，分析了幾種常見的輕量級數(shù)據(jù)壓縮算法的實(shí)現(xiàn)原理，并結(jié)合壓縮算法的特點(diǎn)，在HDFS之上設(shè)計(jì)了一套行列混合存儲(chǔ)數(shù)據(jù)頁結(jié)構(gòu)；然后，提出并實(shí)現(xiàn)了基于MapReduce的自適應(yīng)輕量級數(shù)據(jù)壓縮方案，將大數(shù)據(jù)分塊并行壓縮，壓縮后的數(shù)據(jù)存儲(chǔ)為設(shè)計(jì)的混合存儲(chǔ)結(jié)構(gòu)并保存在HDFS上，并設(shè)計(jì)了該存儲(chǔ)結(jié)構(gòu)上的數(shù)據(jù)讀取接口；同時(shí)，提出了動(dòng)態(tài)數(shù)據(jù)節(jié)點(diǎn)選中優(yōu)先級隊(duì)列樹結(jié)構(gòu)，對數(shù)據(jù)在集群中