大數(shù)據(jù)存儲結(jié)構(gòu)及查詢優(yōu)化研究.pdf

1、大數(shù)據(jù)不僅需要海量存儲的系統(tǒng)，而且需要高速的數(shù)據(jù)加載、快速的查詢處理、存儲空間的高利用率以及適應(yīng)動態(tài)高負(fù)載。由于傳統(tǒng)關(guān)系型數(shù)據(jù)庫在管理大數(shù)據(jù)時遇到各種困難和阻礙，新型分布式系統(tǒng)應(yīng)運(yùn)而生。但在大數(shù)據(jù)存儲和查詢?nèi)杂胁蛔阒?，本文從?shù)據(jù)存儲結(jié)構(gòu)和MapReduce作業(yè)相關(guān)性兩個方面對分布式系統(tǒng)下大數(shù)據(jù)存儲結(jié)構(gòu)及查詢優(yōu)化分析研究。
　　在分布式系統(tǒng)中，數(shù)據(jù)存儲結(jié)構(gòu)直接影響大數(shù)據(jù)的存儲效率和處理性能。行式存儲結(jié)構(gòu)下，數(shù)據(jù)從本地讀取，加載速度

2、快，但壓縮效率低且加載了多余數(shù)據(jù);列式存儲結(jié)構(gòu)下，數(shù)據(jù)壓縮效率高，但數(shù)據(jù)跨節(jié)點(diǎn)訪問增加了網(wǎng)絡(luò)傳輸消耗。針對行式存儲結(jié)構(gòu)和列式存儲結(jié)構(gòu)的特點(diǎn)，提出一種以行列結(jié)合的存儲方式，對數(shù)據(jù)存儲結(jié)構(gòu)進(jìn)行改進(jìn)。通過理論比較分析，行列結(jié)合存儲在數(shù)據(jù)加載速度上略低于行式存儲;在數(shù)據(jù)壓縮效率上，比行式存儲和列式存儲的效率都高。行列結(jié)合的存儲結(jié)構(gòu)不僅避免行式存儲的額外磁盤I/O開銷，同時也減少了列式存儲不必要的網(wǎng)絡(luò)傳輸，極大地提高分布式系統(tǒng)對大數(shù)據(jù)存儲效率及處