基于Hadoop的海量工程數(shù)據(jù)處理技術(shù)研究.pdf

1、隨著工程項目信息化程度越來越高，海量的工程數(shù)據(jù)隨之產(chǎn)生，然而傳統(tǒng)的工程數(shù)據(jù)存儲技術(shù)無法滿足越來越高的數(shù)據(jù)存儲質(zhì)量的要求。近年來，云計算技術(shù)在工業(yè)界和學(xué)術(shù)界共同推動下取得了巨大的發(fā)展，大量的云計算系統(tǒng)投入使用。其中，Hadoop平臺被廣泛用來開發(fā)云計算程序。Hadoop最大的優(yōu)點就是實現(xiàn)了并行化對應(yīng)用開發(fā)者的透明處理，應(yīng)用開發(fā)者可以像開發(fā)普通程序一樣來開發(fā)云計算的應(yīng)用系統(tǒng)，而集群的并行化則由Hadoop底層自動完成。本文基于Hadoop技

2、術(shù)來研究工程領(lǐng)域海量數(shù)據(jù)的處理問題，主要采用Hadoop的HDFS分布式文件系統(tǒng)以及MapReduce分布式處理模型來支持海量工程數(shù)據(jù)的存儲和處理。
　　海量工程數(shù)據(jù)的處理過程主要分為兩大部分:海量數(shù)據(jù)的存儲過程與計算分析過程。針對工程領(lǐng)域數(shù)據(jù)存儲的問題，本文分析設(shè)計了基于Hadoop的HDFS分布式文件系統(tǒng)的工程數(shù)據(jù)存儲系統(tǒng)。該系統(tǒng)基于Java7文件監(jiān)控器設(shè)計了的文件識別算法，該算法可以快速、準(zhǔn)確地監(jiān)控并識別客戶端本地文件目錄變

3、化信息。配合基于Quartz的調(diào)度器的存儲作業(yè)調(diào)度以及HDFS文件操作API接口的調(diào)用，實現(xiàn)了跨平臺文件同步功能。經(jīng)過在云仿真平臺存儲系統(tǒng)中應(yīng)用測試，表明該系統(tǒng)具有較好的通用性、高效性以及經(jīng)濟性。所設(shè)計的文件同步方法較好地完成了文件同步任務(wù)，解決了云仿真平臺存儲系統(tǒng)中核心的文件同步問題，提供了快速、正確的文件同步功能。
　　針對海量工程數(shù)據(jù)計算分析的問題，本文基于Hadoop技術(shù)另外一個核心技術(shù)MapReduce分布式處理模型，以

4、城市海量噪聲數(shù)據(jù)為應(yīng)用對象提出了海量數(shù)據(jù)分析處理模型，為城市社區(qū)噪聲監(jiān)測系統(tǒng)提供海量數(shù)據(jù)處理服務(wù)。針對城市噪聲數(shù)據(jù)特點，提出了由四個部分組成的數(shù)據(jù)處理過程，分別是數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理、數(shù)據(jù)處理以及數(shù)據(jù)可視化?；谠撎幚砟Ｐ?，對城市噪聲監(jiān)測采集系統(tǒng)采集到的海量噪聲數(shù)據(jù)進行存儲，將存儲后的數(shù)據(jù)進行測試分析處理，實現(xiàn)了移動計算與海量工程數(shù)據(jù)存儲及分析的結(jié)合。測試結(jié)果表明該分布式處理模型快速、準(zhǔn)確、有效地完成了噪聲數(shù)據(jù)處理的任務(wù)。
　　最