基于Hadoop的統(tǒng)計直方圖數(shù)據(jù)立方的構建與查詢技術研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)時代信息技術的深入應用，信息的來源日益增多，數(shù)據(jù)規(guī)模呈現(xiàn)急劇增長的趨勢。面對海量的數(shù)據(jù)，越來越多的企業(yè)或組織開始重視數(shù)據(jù)的存儲應用，數(shù)據(jù)倉庫在這方面的應用越來越廣泛。在數(shù)據(jù)倉庫基礎之上的數(shù)據(jù)分析對于企業(yè)或組織定量的決策發(fā)揮著越來越重要的作用，對于海量數(shù)據(jù)的處理需要更高的計算和存儲能力，在普通PC面對這樣的問題出現(xiàn)瓶頸的時候，云計算平臺以及相關技術的出現(xiàn)，為研究解決該問題提供了支持，如何在云計算環(huán)境下有效的組織存儲數(shù)據(jù)，高效的完

2、成海量數(shù)據(jù)上的分析處理成為一個熱點研究問題。
　　本文通過詳細分析了當前聯(lián)機決策分析(OLAP)技術在面對海量數(shù)據(jù)時查詢處理時的局限性，提出了一種新的多維聚集通用模型，詳細分析了該模型在OLAP分析上的可行性，利用MapReduce在處理大規(guī)模數(shù)據(jù)時的并行處理能力和分布式文件系統(tǒng)的存儲能力，完成了基于統(tǒng)計直方圖的數(shù)據(jù)立方的構建和存儲，并在該模型下，設計實現(xiàn)了OLAP分析的經(jīng)典聚集算法，如求和、計數(shù)等算法，對于傳統(tǒng)OLAP分析無法支

3、持的分析操作，如求眾數(shù)、中位數(shù)等，利用該模型的特點在MapReduce下設計實現(xiàn)了相應的算法，算法可以高效的利用Hadoop集群的計算能力完成分析操作。另外在本模型下，提出了海量數(shù)據(jù)下數(shù)據(jù)更新問題解決方案，可以較好的支持數(shù)據(jù)的增量更新。通過以上方法，極大的提高了海量數(shù)據(jù)上的聚集查詢運算效率，可以較好的支持海量數(shù)據(jù)上的OLAP分析操作。針對數(shù)據(jù)倉庫上的近似查詢需求，本文還在統(tǒng)計直方圖的基礎上，重新設計了一種新的直方圖劃分方法，分析了該劃分