基于Hadoop的海量數(shù)據(jù)處理模型研究和應用.pdf

1、數(shù)據(jù)是信息的載體，信息是數(shù)據(jù)的內涵，一般認為數(shù)據(jù)是信息系統(tǒng)的基礎。利用計算機來處理數(shù)據(jù)，提取信息是信息系統(tǒng)的基本功能。在當今高度信息化的社會里，Web可以說是目前最大的信息系統(tǒng)，其數(shù)據(jù)具有海量、多樣、異構、動態(tài)變化等特性。如何實現(xiàn)快速地從這些海量數(shù)據(jù)中提取出對企業(yè)有用的價值信息已成為程序員在開發(fā)應用軟件的過程中碰到的最令人頭疼的問題。 基于這個問題的出發(fā)點，本文在分析現(xiàn)有分布式儲存和計算等關鍵技術基礎上，結合對Hadoop的集群

2、技術的研究以及自身的業(yè)務需求和實際軟硬件實力，提出了一種基于Hadoop的海量數(shù)據(jù)處理模型，并從數(shù)據(jù)結構設計、程序流程組織和編程技術的使用等幾個方面來介紹這個模型的開發(fā)方法，最后將該模型應用于大型網(wǎng)站的web日志數(shù)據(jù)預處理過程中。針對該模型我們還設計了一種有效的基于分布式的預處理模式。該模式首先在各分布式服務器上進行關聯(lián)匹配，然后將各個服務器上的挖掘結果合成。這有利于減輕網(wǎng)絡頻繁的通訊負擔，體現(xiàn)并行計算、異步挖掘、異構數(shù)據(jù)規(guī)約的優(yōu)勢。同

3、時，它允許程序員可以不需要有什么并發(fā)處理或者分布式系統(tǒng)的經(jīng)驗，就可以處理超大的分布式系統(tǒng)得資源。除了數(shù)據(jù)挖掘之外，該模型還可以應用在諸如圖片存儲、搜索引擎、網(wǎng)格計算等需要處理大數(shù)據(jù)量的網(wǎng)絡應用中。 本課題的特點是將研究的模型與實際業(yè)務應用相結合，利用前沿的分布式框架技術來很好的滿足項目的需求，并將模型部署到實例當中，用實驗結果來檢驗模型的實用價值，比如高效率、低成本、可拓展性和易維護性等。在與原來的預處理系統(tǒng)相融合的基礎上，我們