數(shù)據(jù)流上多聚集查詢的優(yōu)化技術(shù).pdf

1、目前，數(shù)據(jù)流系統(tǒng)被廣泛應(yīng)用，如網(wǎng)絡(luò)入侵檢測和金融分析。在數(shù)據(jù)流的查詢處理中，聚集查詢是一種常用的查詢類型，滑動(dòng)窗口是近似查詢常用的技術(shù)。因此，滑動(dòng)窗口聚集查詢在數(shù)據(jù)流管理系統(tǒng)中具有較高的研究價(jià)值。
　　 系統(tǒng)經(jīng)常需要在同一個(gè)數(shù)據(jù)源上處理多個(gè)聚集查詢，而單獨(dú)地執(zhí)行每個(gè)查詢可能會(huì)導(dǎo)致嚴(yán)重的可擴(kuò)展性問題和性能問題，并且當(dāng)數(shù)據(jù)流的到達(dá)速率超過系統(tǒng)資源的承受能力時(shí)，系統(tǒng)會(huì)出現(xiàn)性能下降甚至癱瘓的現(xiàn)象。本文提出了數(shù)據(jù)流上多聚集查詢的優(yōu)化技術(shù)，

2、具體工作包含以下幾個(gè)方面：
　　 首先，分析了數(shù)據(jù)流系統(tǒng)上多聚集查詢的處理方法。在系統(tǒng)的處理能力下，討論多聚集查詢的共享計(jì)算問題，消除系統(tǒng)的計(jì)算冗余；在系統(tǒng)超負(fù)載時(shí)，介紹數(shù)據(jù)流上多聚集查詢的降載策略，分析各種降載策略的適用環(huán)境。
　　 其次，設(shè)計(jì)并實(shí)現(xiàn)了一種優(yōu)化的窗口聚集算法OPWA。先根據(jù)各時(shí)間窗口參數(shù)對聚集查詢進(jìn)行分組，使得相似查詢可以同步調(diào)度；再采用Paired技術(shù)對數(shù)據(jù)流進(jìn)行分割。一方面減少了時(shí)間切片的數(shù)目，降低

3、了空間的需求；另一方面同步地執(zhí)行相似查詢，減少了系統(tǒng)的計(jì)算開銷。
　　 最后，提出了MinWinDrop窗口降載策略，減小了降載窗口的更新周期。數(shù)據(jù)流系統(tǒng)可以將MinWinDrop降載操作符插入到查詢計(jì)劃之前，提前丟棄未處理的元組，消除系統(tǒng)不必要的計(jì)算開銷。該降載策略不僅保證各聚集查詢部分結(jié)果的精確性，而且實(shí)現(xiàn)系統(tǒng)輸出子集的最大化。
　　 本課題的研究能夠有效地解決數(shù)據(jù)流上多聚集查詢的處理問題，提高數(shù)據(jù)流系統(tǒng)的執(zhí)行效率，