增量數(shù)據(jù)挖掘算法LIUA的設(shè)計(jì)及應(yīng)用.pdf

1、近年來(lái)，數(shù)據(jù)挖掘技術(shù)的研究引起了國(guó)際人工智能和數(shù)據(jù)庫(kù)等領(lǐng)域?qū)＜遗c學(xué)者的廣泛關(guān)注。在事務(wù)數(shù)據(jù)庫(kù)中挖掘關(guān)聯(lián)規(guī)則是數(shù)據(jù)挖掘領(lǐng)域中的一個(gè)非常重要的研究課題。目前以Apriori算法為基礎(chǔ)所推導(dǎo)出的各種數(shù)據(jù)挖掘技術(shù)，大多是針對(duì)靜態(tài)的數(shù)據(jù)，從中挖掘出用戶感興趣的關(guān)聯(lián)規(guī)則。這種方法雖然實(shí)現(xiàn)簡(jiǎn)單，但是它沒有充分利用已經(jīng)獲得的發(fā)現(xiàn)結(jié)果，太浪費(fèi)計(jì)算時(shí)間及硬件I/O，因此效率非常低下。 本文所提出的LIUA算法充分利用已經(jīng)獲得的發(fā)現(xiàn)結(jié)果，將已經(jīng)挖掘過

2、的數(shù)據(jù)科學(xué)地、妥善地處理及保存，使得新增數(shù)據(jù)時(shí)能重復(fù)利用，這樣大大提高了時(shí)效，在商業(yè)運(yùn)用上非常有價(jià)值。 1.研究了挖掘關(guān)聯(lián)規(guī)則的經(jīng)典算法Apriori以及常用的幾種增量關(guān)聯(lián)規(guī)則的挖掘算法FUP、IUA，分析了它們的執(zhí)行效率，指出了其效率低下的主要原因是由于多次迭代掃描、每次迭代產(chǎn)生數(shù)目更大的頻繁集造成的。 2.在分析總結(jié)了原有算法的基礎(chǔ)上，提出了LIUA算法。該算法只掃描一次數(shù)據(jù)庫(kù)，就能把符合要求的關(guān)聯(lián)規(guī)則挖掘出來(lái)，擺脫

3、了傳統(tǒng)算法多次迭代的不足，采用以空間換取時(shí)間的技術(shù)，大大提高了挖掘效率。同時(shí)將挖掘出來(lái)的結(jié)果有效地保存，以便下次增量挖掘時(shí)充分利用，而且還可以減少傳統(tǒng)挖掘算法“少挖”、“漏挖”的現(xiàn)象。 3.實(shí)現(xiàn)了LIUA算法。通過對(duì)其測(cè)試結(jié)果與Apriori算法的測(cè)試結(jié)果進(jìn)行比較，進(jìn)一步證明了該算法的高效性以及挖掘的充分性。 文中描述了LIUA算法處理AVIM系統(tǒng)收集的數(shù)據(jù)的過程，對(duì)挖掘出的關(guān)聯(lián)規(guī)則進(jìn)行了分析，并用來(lái)指導(dǎo)人們的生活，指出