基于Hadoop的海量交易記錄查詢系統(tǒng)研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，人們的消費(fèi)習(xí)慣也在轉(zhuǎn)變，網(wǎng)上購(gòu)物以其方便快捷的特點(diǎn)受到越來(lái)越多人的青睞。隨著越來(lái)越多的商家進(jìn)駐電子商務(wù)網(wǎng)站，商品種類和數(shù)量迅速增多，伴隨著用戶巨大的訪問量和龐大的交易額，電子商務(wù)網(wǎng)站將產(chǎn)生海量的交易記錄，傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的處理能力正面臨嚴(yán)峻的挑戰(zhàn)。
　　云計(jì)算技術(shù)在如今數(shù)據(jù)急劇膨脹的時(shí)代應(yīng)運(yùn)而生，通過利用網(wǎng)絡(luò)連接大量不太昂貴的計(jì)算節(jié)點(diǎn)，并采用分布式軟件將節(jié)點(diǎn)虛擬成一個(gè)可靠的高性能計(jì)算平臺(tái)，云計(jì)算可以提供“幾乎無(wú)

2、限”的計(jì)算和存儲(chǔ)能力。云計(jì)算為海量數(shù)據(jù)的存儲(chǔ)和處理提供了一種新的解決方案。Hadoop是一個(gè)對(duì)大數(shù)據(jù)進(jìn)行分布式處理的云計(jì)算框架，它可以使用戶在不了解分布式系統(tǒng)底層細(xì)節(jié)的情況下，開發(fā)分布式程序?qū)Υ髷?shù)據(jù)進(jìn)行處理，作為一個(gè)開源的系統(tǒng)，Hadoop成為企業(yè)界和研究領(lǐng)域的熱點(diǎn)。
　　本文通過對(duì) Hadoop的深入分析和研究，根據(jù)交易記錄查詢系統(tǒng)的需求，設(shè)計(jì)并實(shí)現(xiàn)了基于Hadoop的海量交易記錄查詢系統(tǒng)。首先對(duì)Hadoop及其相關(guān)技術(shù)做了研究

3、，著重介紹了Hadoop云計(jì)算框架中的HDFS分布式文件系統(tǒng)和 HBase分布式數(shù)據(jù)庫(kù)，分別介紹了 HDFS的特性、系統(tǒng)框架、副本存放策略和HBase的系統(tǒng)框架及數(shù)據(jù)模型。其次，重點(diǎn)分析了HBase的存儲(chǔ)特點(diǎn)，通過分析HBase的數(shù)據(jù)存儲(chǔ)方式、Region定位方式和寫數(shù)據(jù)過程，提出了系統(tǒng)設(shè)計(jì)的優(yōu)化和改進(jìn)建議。接著，對(duì)基于Hadoop的海量交易記錄查詢系統(tǒng)進(jìn)行了設(shè)計(jì)和實(shí)現(xiàn)，主要包括數(shù)據(jù)接入層、存儲(chǔ)層和查詢層；為了解決集群中節(jié)點(diǎn)時(shí)間不同步的