能源互聯(lián)網(wǎng)大數(shù)據(jù)流異常檢測方法研究.pdf

1、隨著能源互聯(lián)網(wǎng)進一步發(fā)展，大量分布式能源的異地生產(chǎn)使能源的協(xié)調(diào)控制更加依賴多個復(fù)雜網(wǎng)絡(luò)，這些異構(gòu)網(wǎng)絡(luò)在自身運營或與其他網(wǎng)絡(luò)交互過程中產(chǎn)生的數(shù)據(jù)量越來越大，數(shù)據(jù)匯集成的大數(shù)據(jù)流不斷趨于多維和復(fù)雜化。在能源互聯(lián)網(wǎng)一體化機制下，即使是一些微小的數(shù)據(jù)異常也有可能帶來不利影響，異常檢測對實時性的要求越來越高。針對能源互聯(lián)網(wǎng)數(shù)據(jù)特點構(gòu)建高效的大數(shù)據(jù)流處理模型，對大數(shù)據(jù)流異常檢測方法進行研究具有重要意義。
　　本文深入分析能源互聯(lián)網(wǎng)的數(shù)據(jù)來源、

2、數(shù)據(jù)特點，以此設(shè)計能源互聯(lián)網(wǎng)大數(shù)據(jù)流異常檢測架構(gòu)，同時整合日志收集系統(tǒng)Flume、消息訂閱系統(tǒng)Kafka和實時處理引擎Spark Streaming，構(gòu)建能源互聯(lián)網(wǎng)的大數(shù)據(jù)采集和預(yù)處理策略、異常檢測的大數(shù)據(jù)作業(yè)調(diào)度策略，在此基礎(chǔ)上開展用戶異常用電檢測和多能擾動異常檢測研究。
　　用戶異常用電檢測采用核主成分分析方法對高維數(shù)據(jù)進行降維，在并行框架中實現(xiàn)對異常數(shù)據(jù)實時檢測?；诤酥鞒煞址治鏊惴ㄔ恚岢龌诩耗Ｊ降慕稻S異常檢測方法，

3、該方法首先將能源互聯(lián)網(wǎng)高維大數(shù)據(jù)流表征為向量，設(shè)置異常閾值，構(gòu)建異常檢測模型。通過模擬數(shù)據(jù)采集、實時推送數(shù)據(jù)過程，配置實時計算任務(wù)，進行數(shù)據(jù)流實時處理集群性能實驗，并以TEP數(shù)據(jù)集為例對集群模式下的降維異常檢測方法進行驗證。最后，利用該方法提取能源互聯(lián)網(wǎng)用戶用電負(fù)荷數(shù)據(jù)特征，對提取特征進行降維分析，檢測用戶異常用電情況。
　　多能擾動異常檢測主要包括擾動信號特征提取，對特征進行分類兩部分。針對能源互聯(lián)網(wǎng)的數(shù)據(jù)特點，建立擾動異常信號