基于頻繁項集的互補替代關(guān)系挖掘算法.pdf

1、20世紀(jì)80年代以來,隨著數(shù)據(jù)庫和信息技術(shù)的發(fā)展與廣泛應(yīng)用,各個應(yīng)用領(lǐng)域均累積了海量的數(shù)據(jù),且數(shù)據(jù)呈幾何級數(shù)增長。而存儲在大型數(shù)據(jù)庫中的海量數(shù)據(jù)包含了大量的、有利于決策者作出英明判斷的信息。但是由于缺乏強有力的數(shù)據(jù)分析工具,這些數(shù)據(jù)就變成了無人問津的“數(shù)據(jù)墳?zāi)埂?。這樣,基于直覺和經(jīng)驗的決策者往往不能做出有利于應(yīng)用領(lǐng)域的決定,使得這些包含有價值的數(shù)據(jù)無法發(fā)揮它們應(yīng)有的決策指導(dǎo)作用。如何從海量數(shù)據(jù)集中提取出有利于商務(wù)決策的信息成為各個領(lǐng)域的

2、需求,在這種情況下,數(shù)據(jù)挖掘應(yīng)運而生,從不同的角度以不同的形式為商務(wù)策略、科學(xué)等各領(lǐng)域提供依據(jù),推動了信息技術(shù)的迅猛發(fā)展。
　　 本文研究的兩項工作:
　　 首先,頻繁項集挖掘作為關(guān)聯(lián)規(guī)則產(chǎn)生的首要步驟,其挖掘效率的高低直接影響著關(guān)聯(lián)規(guī)則產(chǎn)生的總體效率。而數(shù)據(jù)集掃描次數(shù)和支持?jǐn)?shù)計算效率一直是影響頻繁項集挖掘的主要因素。本文以shariq bashir提出的TOP-N閉頻繁項挖掘算法為基礎(chǔ),利用位向量映射技術(shù),提出了基于索

3、引的頻繁項集挖掘算法。該算法用位向量表示數(shù)據(jù)集,僅需一次掃描數(shù)據(jù)集。頻繁項集的挖掘過程采用集合枚舉樹的節(jié)點構(gòu)造過程來表示,在創(chuàng)建節(jié)點枚舉項的尾項支持?jǐn)?shù)時,利用枚舉項集的位索引,計算枚舉項合并形成的新項集的支持?jǐn)?shù),同時引入廣度擴展剪枝和區(qū)域索引跳過策略,從而快速地挖掘出頻繁項,有效地提高了算法的執(zhí)行效率;實驗結(jié)果表明,該算法在稀疏數(shù)據(jù)集上有很高的運行效率。
　　 其次,由于挖掘出的頻繁項集可能包含大量的用戶不感興趣的規(guī)則,同時如果

4、沒有進一步的分析或領(lǐng)域知識,頻繁項集并不能直接用于預(yù)測。如何消除頻繁項集中用戶不感興趣的頻繁項是頻繁項集用于指導(dǎo)實踐的瓶頸。所以,本文在基于索引的頻繁項集挖掘算法基礎(chǔ)上,本文又提出基于頻繁項集的互補替代關(guān)系挖掘算法。該算法通過對已挖掘出的各頻繁項集中的頻繁項進行相關(guān)性計算,挖掘出頻繁項之間的互補替代關(guān)系,去除噪聲數(shù)據(jù)的影響,以圖形的方式顯式地向決策者展示出各個頻繁項之間的互補(或替代)性,更便于決策者做出準(zhǔn)確、合理的判斷。實驗表明,CA