基于Hadoop的海量電能質(zhì)量數(shù)據(jù)處理研究.pdf

1、隨著電能質(zhì)量監(jiān)測(cè)網(wǎng)規(guī)模的不斷擴(kuò)大以及電能質(zhì)量監(jiān)測(cè)終端的數(shù)據(jù)采集頻率的提高，電能質(zhì)量數(shù)據(jù)也因此爆炸式增長(zhǎng)。而當(dāng)前電能質(zhì)量監(jiān)測(cè)系統(tǒng)主要是依賴關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)電能質(zhì)量數(shù)據(jù)并且采用傳統(tǒng)的集中式處理方式對(duì)電能質(zhì)量數(shù)據(jù)計(jì)算分析，對(duì)于日益增長(zhǎng)的電能質(zhì)量數(shù)據(jù)，關(guān)系型數(shù)據(jù)庫(kù)已顯得越發(fā)力不從心，傳統(tǒng)的集中式處理方式在大規(guī)模數(shù)據(jù)集面前計(jì)算效率低，使得分析結(jié)果嚴(yán)重滯后。因此如何解決海量電能質(zhì)量數(shù)據(jù)的存儲(chǔ)瓶頸以及提升系統(tǒng)的計(jì)算效率已成為當(dāng)前電能質(zhì)量監(jiān)測(cè)系統(tǒng)迫切需

2、要解決的問題。
　　本文通過對(duì)分布式數(shù)據(jù)庫(kù)HBase和Hadoop平臺(tái)下的并行編程模型MapReduce、分布式文件系統(tǒng)HDFS等關(guān)鍵技術(shù)的研究，并結(jié)合現(xiàn)有的電能質(zhì)量分析算法，提出基于Hadoop的海量電能質(zhì)量數(shù)據(jù)處理方案，解決當(dāng)前電能質(zhì)量監(jiān)測(cè)系統(tǒng)發(fā)展所遇到的瓶頸。本文通過分析電能質(zhì)量基礎(chǔ)數(shù)據(jù)的特點(diǎn)，實(shí)現(xiàn)了基礎(chǔ)數(shù)據(jù)在HBase中的存儲(chǔ)模型，而對(duì)于分析結(jié)果，由于其數(shù)據(jù)規(guī)模并不大并且為了與原有的Web前端無縫對(duì)接，存儲(chǔ)格式保持不變，仍

3、采用原有的關(guān)系型數(shù)據(jù)庫(kù)SQL Server2008。對(duì)于電能質(zhì)量數(shù)據(jù)分析，通過對(duì)現(xiàn)有的電能質(zhì)量基礎(chǔ)數(shù)據(jù)分析算法的改造，實(shí)現(xiàn)了在Hadoop平臺(tái)下的MapReduce并行處理，同時(shí)通過對(duì)Hadoop集群中一些參數(shù)的合理配置，提升集群性能，提高M(jìn)apReduce電能質(zhì)量分析作業(yè)在集群上的并發(fā)執(zhí)行效率。
　　最后本文通過實(shí)驗(yàn)，將基于Hadoop的并行式海量電能質(zhì)量數(shù)據(jù)處理方式與傳統(tǒng)的集中式電能質(zhì)量數(shù)據(jù)處理方式進(jìn)行對(duì)比，驗(yàn)證了基于Hado