商業(yè)智能系統(tǒng)中預(yù)警功能的研究與實現(xiàn).pdf

1、近年來商業(yè)智能獲得了廣泛應(yīng)用和快速發(fā)展，從OLAP分析，到數(shù)據(jù)挖掘和預(yù)測分析，商業(yè)智能正逐步朝著更易用、更智能的方向發(fā)展，預(yù)警開始引起人們的興趣。預(yù)警功能有助于企業(yè)及時發(fā)現(xiàn)生產(chǎn)和經(jīng)營中出現(xiàn)的問題，采取有效的措施。雖然主流的商業(yè)智能系統(tǒng)中都加入了預(yù)警功能，但其預(yù)警多是基于指標的，即對于各個指標根據(jù)不同業(yè)務(wù)領(lǐng)域設(shè)置各自不同閾值。基于指標的預(yù)警對操作人員要求較高，需要有豐富的業(yè)務(wù)知識和經(jīng)驗，否則預(yù)警就不能產(chǎn)生有效的結(jié)果。Morten等人提出了

2、Sentinel規(guī)則的概念，Sentinel規(guī)則是基于數(shù)值變化的，并且是雙向規(guī)則，可以用來有效地進行預(yù)警。但Sentinel算法存在著兩個不足之處:(1)Sentinel算法中為了提高實時間性能，使用RPG(ReducedPatternGrowth)過程來減少度量個數(shù)，這是一種近似處理，可能會漏掉一些重要的規(guī)則。(2)Sentinel算法中對支持度的定義有些不合理，以此支持度定義，可能挖掘出一些看似有很高支持度，實際出現(xiàn)頻度并不高的規(guī)則

3、。
　　針對商業(yè)智能中的預(yù)警功能，本論文研究了基于指標變化的預(yù)警規(guī)則挖掘技術(shù)。主要工作如下:
　　(1)針對Sentinel算法中使用降維技術(shù)可能漏掉一些重要規(guī)則的情況，結(jié)合Apriori算法的思想，提出了基于候選逐層迭代的SentinelCandi算法，此算法在迭代過程中利用一種稱作AprioriLike的性質(zhì)進行剪枝，既保證了挖掘規(guī)則的完備性，又有效降低了時間復(fù)雜度。同時，利用事務(wù)壓縮技術(shù)，進一步提升了算法時間性能，此外

4、，將算法擴展到了多目標，最終形成了多目標完備的SentinelCandi算法。
　　(2)針對Sentinel算法中對支持度定義的不合理，參考關(guān)聯(lián)規(guī)則中支持度的定義，對其支持度進行了重新定義。在新支持度定義的基礎(chǔ)上，結(jié)合頻繁模式挖掘的兩個經(jīng)典算法，Apriori算法和FP-growth算法，提出了Sentinel算法兩個改進算法——SentinelApriori算法和SentinelFPGrowth算法，可以挖掘包括多目標在內(nèi)所有

5、Sentinel規(guī)則。為了進一步提高算法的時間性能，提出了省去對漏項的查找的近似SentinelFPGrowth算法，并指出對于有效的規(guī)則，這種誤差是較小的，可以忽略。
　　(3)針對SentinelFPGrowth算法在維數(shù)較多時出現(xiàn)內(nèi)存耗盡的問題，提出了兩種改進算法，其一:利用FP-growth算法的改進算法FP-GROWTH-TINY算法，提出了SentinelFPGrowthTiny算法。其二:利用ISRP(iterati

6、vesupportreductionprocedure)生成top-k個規(guī)則提出了SentinelFPGrowthISRP算法，此算法有很好的時間和空間性能。
　　(4)考慮到在Sentinel算法的有些應(yīng)用環(huán)境中，使用者可能并不清楚如何進行目標維的選擇，論文提出通過定義score函數(shù)來實現(xiàn)目標維的自動選取。
　　最后在亞洲發(fā)展銀行關(guān)于日本經(jīng)濟的統(tǒng)計數(shù)據(jù)、美國明尼蘇達州的環(huán)境監(jiān)測數(shù)據(jù)和一個人工生成數(shù)據(jù)三個數(shù)據(jù)集上對所提算法進