面向應(yīng)用模式的Hadoop-Hive架構(gòu)和性能及應(yīng)用研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，信息化程度的提高，很多企業(yè)數(shù)據(jù)庫的數(shù)據(jù)量已經(jīng)從TB級達到PB級。將這些靜態(tài)的海量數(shù)據(jù)利用起來，從中挖掘出有用的知識能夠很大的程度上增強企業(yè)的競爭力。
　　本文的研究以《學科評估信息系統(tǒng)》統(tǒng)計分析模塊的需求和應(yīng)用為基礎(chǔ)。當對統(tǒng)計分析進行建模時，多個用戶需要反復并發(fā)訪問Oracle數(shù)據(jù)庫。而學科評估系統(tǒng)數(shù)據(jù)量越來越大，Oracle由于內(nèi)存、IO、CPU等資源有限，當處理大數(shù)據(jù)量的并發(fā)請求時響應(yīng)時間較長，極大的

2、影響了統(tǒng)計分析的效率。
　　針對以上問題，提出了基于Hadoop/Hive架構(gòu)的分布式存儲和并行計算思想方法。通過對統(tǒng)計分析模塊各應(yīng)用模式進行分析調(diào)研，總結(jié)出整體匯總、最值、排序、模糊查詢、表連接、分組對比六種應(yīng)用模式;將Hive與傳統(tǒng)關(guān)系型數(shù)據(jù)庫進行對比并對Hive的數(shù)據(jù)傾斜、性能調(diào)優(yōu)等關(guān)鍵問題進行研究;在各應(yīng)用模式下，利用Sqoop將所涉及到的Oracle中的數(shù)據(jù)表導入到Hive中，編寫并執(zhí)行相應(yīng)的SQL語句以及HiveQL腳

3、本，統(tǒng)計、對比分析Oracle與Hive的性能，分析Hive在統(tǒng)計分析方面的優(yōu)勢和劣勢;最后研究了Hadoop不同節(jié)點數(shù)以及不同Map Task數(shù)對Hive性能的影響。
　　實驗結(jié)果表明，在各應(yīng)用模式下，當數(shù)據(jù)量或者并發(fā)量較小時，Oracle性能要優(yōu)于Hive;除了排序，當數(shù)據(jù)量、并發(fā)量逐漸增大時，Hive與Oracle的性能差距逐漸縮小，進而優(yōu)于Oracle。最后，將基于Hadoop/Hive架構(gòu)的分布式存儲與并行計算方案進行實