數(shù)據(jù)流中頻繁項(xiàng)目集挖掘算法的研究.pdf

1、數(shù)據(jù)挖掘經(jīng)過(guò)十幾年的研究，特別是最近幾年，一些基本概念和方法趨于清晰，它的研究也向更深入的方向發(fā)展。隨著信息技術(shù)的發(fā)展和互聯(lián)網(wǎng)的興起，數(shù)據(jù)量急劇膨脹，而且數(shù)據(jù)的形式也多種多樣。傳統(tǒng)的數(shù)據(jù)挖掘方法往往都集中在對(duì)靜態(tài)數(shù)據(jù)的挖掘，他們可以高效地在靜態(tài)數(shù)據(jù)中挖掘信息和知識(shí)，但是他們無(wú)法適應(yīng)在高速的，大量的，實(shí)時(shí)性很強(qiáng)的數(shù)據(jù)流，因此數(shù)據(jù)流挖掘成為最近數(shù)據(jù)挖掘領(lǐng)域比較熱的研究點(diǎn)。 在數(shù)據(jù)流挖掘領(lǐng)域中，頻繁項(xiàng)集的挖掘是基礎(chǔ)性的，比較關(guān)鍵的問(wèn)題

2、。同時(shí)，對(duì)于挖掘數(shù)據(jù)流中的頻繁項(xiàng)目集的研究也是數(shù)據(jù)流挖掘應(yīng)用于實(shí)際所必需的基礎(chǔ)性研究，有著廣泛的應(yīng)用前景。在這個(gè)領(lǐng)域中，傳統(tǒng)的研究方法大多關(guān)注于在數(shù)據(jù)流中挖掘全部頻繁項(xiàng)集。由于挖掘全部頻繁項(xiàng)集存在數(shù)據(jù)和模式冗余問(wèn)題，所以對(duì)算法的時(shí)間和空間效率都具有更大的挑戰(zhàn)性。因此，近年來(lái)人們開(kāi)始關(guān)注在數(shù)據(jù)流中挖掘頻繁閉項(xiàng)集與最大頻繁項(xiàng)集，其中一個(gè)典型的工作就是Moment算法。另外，在數(shù)據(jù)流中挖掘頻繁項(xiàng)目集領(lǐng)域，挖掘算法所使用的窗口機(jī)制，數(shù)據(jù)淘汰與剪

3、枝策略也是比較關(guān)鍵的問(wèn)題，近些年來(lái)也得到了廣泛研究。 本文針對(duì)數(shù)據(jù)流挖掘中的窗口機(jī)制、數(shù)據(jù)淘汰與剪枝策略、頻繁閉項(xiàng)集與最大項(xiàng)集這三個(gè)需要解決的問(wèn)題，主要完成了以下的研究工作： (1)提出了一種數(shù)據(jù)流中挖掘頻繁閉項(xiàng)集的近似挖掘算法A-Moment。它采用衰減窗口機(jī)制、近似計(jì)數(shù)估計(jì)方法和分布式更新信息策略來(lái)解決Moment算法中過(guò)度依賴(lài)于窗口和執(zhí)行效率低等問(wèn)題。 (2)本文針對(duì)削減節(jié)點(diǎn)規(guī)模問(wèn)題，提出了一種新型數(shù)據(jù)結(jié)構(gòu)