面向超大規(guī)模時(shí)間序列的異常檢測.pdf

1、時(shí)間序列是對某個(gè)物理量進(jìn)行等時(shí)間間隔觀測所得的數(shù)值序列，能夠反映受監(jiān)測事物的狀態(tài)、狀況。時(shí)間序列的異常檢測方法能夠檢測出時(shí)序序列中的異常，同時(shí)能夠評價(jià)異常的程度，幫助用戶了解受觀測事物的狀態(tài)與情況。時(shí)間序列的種類和規(guī)模的爆炸性增長對時(shí)間序列異常檢測提出新的要求?，F(xiàn)有時(shí)間序列異常檢測方法存在檢測效果差下，檢測性能低下的問題。
　　本文提出一套面向超大時(shí)間序列的異常檢測系統(tǒng)，該系統(tǒng)結(jié)合本文提出的多種檢測方法與方案，改善現(xiàn)有時(shí)間序列異常

2、檢測存在的問題：1）超大規(guī)模時(shí)間序列中同一異常重復(fù)出現(xiàn)的概率增加，現(xiàn)有異常定義無法發(fā)現(xiàn)這類異常，本文提出基于J距離的時(shí)間序列異常定義（J-distance Discord，JDD），使用J距離作為衡量該子序列異常程度的標(biāo)準(zhǔn)，實(shí)驗(yàn)表明JDD與傳統(tǒng)定義相比，能夠捕捉到更有意義異常；2）多維時(shí)間序列可用于描述復(fù)雜系統(tǒng)的多種狀態(tài)和情況，傳統(tǒng)異常檢測方法無法發(fā)現(xiàn)異常發(fā)生的原因，本文提出多維時(shí)間序列異常的檢測方案（Multi-dimensional

3、 Discord Discovery，MDD），我們首先提出異常溯源方法（Dimension Reasoning LOF，DR-LOF），通過不同維度對異常的貢獻(xiàn)程度分析異常發(fā)生的原因，同時(shí)起到異常溯源和數(shù)據(jù)降維的作用。MDD結(jié)合 DR-LOF與JDD形成完整的檢測方案。在云計(jì)算環(huán)境的多種異常的檢測案例表明MDD更快更有效地檢測異常以及發(fā)現(xiàn)異常發(fā)生的原因；3）為減少磁盤操作對計(jì)算時(shí)間的影響，緩解單一計(jì)算節(jié)點(diǎn)存儲空間對異常檢測規(guī)模的限制，

4、我們提出并行化的時(shí)間序列異常檢測方法（Parallel Discord Discovery，PDD），PDD將時(shí)間序列分段存儲在多個(gè)計(jì)算節(jié)點(diǎn)，并行求解子序列在所有分段內(nèi)的最近鄰距離，并通過高效地節(jié)點(diǎn)間通訊保證檢測結(jié)果的正確性。PDD通過分布式的異常估算方法（Distributed Discord Estimation，DDE）和剪枝技術(shù)降低計(jì)算復(fù)雜度，且通過批量處理數(shù)據(jù)、多發(fā)射的方法提高資源利用率。我們使用Apache Spark實(shí)現(xiàn)

5、PDD，在隨機(jī)時(shí)間序列數(shù)據(jù)集上的實(shí)驗(yàn)證明，相對于單線程的HOTSAX檢測方法，10個(gè)計(jì)算節(jié)點(diǎn)使PDD獲得8倍的加速比，與基于磁盤的異常檢測方法相比，PDD的計(jì)算資源利用率提高了將近一倍；4）通過分治法加速時(shí)間序列異常檢測會使檢測結(jié)果不正確。我們提出了近似的并行化時(shí)間序列異常檢測方法（Approximated Parallel Discord Discovery，APDD），把時(shí)間序列分段并行化檢測異常，提出自適應(yīng)停止條件（Adaptiv

6、e Stop Criteria，ASC）用于在兼顧檢測結(jié)果正確性的前提下降低計(jì)算復(fù)雜度。理論分析表明 APDD降低了異常檢測的計(jì)算復(fù)雜度，實(shí)驗(yàn)證明APDD在單機(jī)環(huán)境下比經(jīng)典的HOTSAX檢測方法快2至14倍，APDD檢測結(jié)果的前6位與原始定義的檢測結(jié)果保持一致，且檢測結(jié)果的正確性對 APDD的并行度不敏感。
　　總之，超大規(guī)模時(shí)間序列給時(shí)間序列異常檢測帶來檢測效果與檢測性能兩方面的新挑戰(zhàn)，本文針對現(xiàn)有時(shí)間序列異常檢測方法的不足，提