智能電網(wǎng)大數(shù)據(jù)在線分析與決策系統(tǒng)研究.pdf

1、隨著全球能源互聯(lián)網(wǎng)的建設(shè)以及智能電網(wǎng)建設(shè)的快速推進(jìn)，大量的物聯(lián)網(wǎng)信息采集設(shè)備終端將會(huì)接入電網(wǎng)，這些終端將會(huì)產(chǎn)生海量的采集數(shù)據(jù)—智能電網(wǎng)大數(shù)據(jù)。為應(yīng)對(duì)這些海量數(shù)據(jù)分析的需求，本文研究了智能電網(wǎng)大數(shù)據(jù)的流處理和批處理引擎的構(gòu)建，并在此基礎(chǔ)上完成了智能電網(wǎng)大數(shù)據(jù)在線分析與決策系統(tǒng)的設(shè)計(jì)。
　　本文在國內(nèi)外的研究的基礎(chǔ)上研究了智能電網(wǎng)大數(shù)據(jù)的來源和分類，對(duì)智能電網(wǎng)大數(shù)據(jù)分析的主要需求進(jìn)行了分析。本文對(duì)大數(shù)據(jù)相關(guān)的分布式計(jì)算理論進(jìn)行了介紹，

2、其中主要介紹了分布式計(jì)算框架MapReduce、分布式文件系統(tǒng)GFS和HDFS、分布式應(yīng)用程序協(xié)調(diào)服務(wù)Chubby和ZooKeeper、分布式資源管理框架YARN和Mesos的原理和架構(gòu)，同時(shí)也介紹了Map Reduce迭代計(jì)算模型、BSP計(jì)算模型、SSP計(jì)算模型這三種分布式數(shù)據(jù)分算法基礎(chǔ)模型;隨后研究了智能電網(wǎng)大數(shù)據(jù)流處理的任務(wù)需求，對(duì)流處理的概念進(jìn)行了介紹，同時(shí)研究了智能電網(wǎng)大數(shù)據(jù)流處理系統(tǒng)的需求特征，著重研究了Strom、Spar

3、k Streaming、 Samza這三種流處理引擎以及其應(yīng)用場景，根據(jù)其特點(diǎn)和智能電網(wǎng)大數(shù)據(jù)流處理分析的特性需求本文選擇Strom作為構(gòu)建智能大數(shù)據(jù)在線分析與決策系統(tǒng)的流處理引擎，并通過基于Storm的VFDT算法在重要電力客戶供用電安全實(shí)時(shí)分析中的應(yīng)用展示了Strom在電網(wǎng)數(shù)據(jù)實(shí)時(shí)分析上的有效性，通過機(jī)器的擴(kuò)展和模擬數(shù)據(jù)流的增加進(jìn)行壓力測試證明了Strom流處理引擎的在智能電網(wǎng)大數(shù)據(jù)分析場景中的可擴(kuò)展性;隨后，對(duì)智能電網(wǎng)大數(shù)據(jù)批處理