數(shù)據(jù)流中top-k項(xiàng)頻繁閉合模式挖掘研究.pdf

1、數(shù)據(jù)流模型的出現(xiàn)給傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)帶來(lái)的巨大的挑戰(zhàn)。由于數(shù)據(jù)流連續(xù)不斷的到來(lái)，已有的數(shù)據(jù)處理技術(shù)難以對(duì)這些潛在無(wú)限的、變化的數(shù)據(jù)進(jìn)行有效的管理和挖掘，因此，必須對(duì)數(shù)據(jù)環(huán)境下的數(shù)據(jù)處理技術(shù)進(jìn)行研究。目前數(shù)據(jù)流管理和挖掘技術(shù)已經(jīng)引起了國(guó)內(nèi)外研究人員的廣泛關(guān)注，成為了當(dāng)前的一個(gè)研究熱點(diǎn)。對(duì)于這兩方面技術(shù)研究不僅具有重要的理論價(jià)值，而且在很多應(yīng)用領(lǐng)域，如傳感器網(wǎng)絡(luò)、氣象的監(jiān)測(cè)與分析，網(wǎng)絡(luò)監(jiān)控與安全，Web日志分析等，有著巨大應(yīng)用前景。本文在對(duì)

2、數(shù)據(jù)流挖掘領(lǐng)域若干問(wèn)題進(jìn)行探討的同時(shí)，主要研究了數(shù)據(jù)流中top k項(xiàng)頻繁閉合項(xiàng)集問(wèn)題，提出了相應(yīng)的解決算法并結(jié)合實(shí)驗(yàn)結(jié)果做了必要的分析。概括地說(shuō)，本文主要涉及到如下幾方面內(nèi)容： （1）對(duì)比傳統(tǒng)挖掘中使用的大小固定的數(shù)據(jù)集，分析了數(shù)據(jù)流的特點(diǎn)。介紹了目前存在的幾種數(shù)據(jù)流模型以及常用的數(shù)據(jù)流處理技術(shù)。數(shù)據(jù)流本身的特點(diǎn)也對(duì)數(shù)據(jù)流挖掘算法提出了一些要求。 （2）分析和總結(jié)幾個(gè)傳統(tǒng)的頻繁模式挖掘算法和數(shù)據(jù)流中的頻繁模式挖掘算法，了

3、解挖掘過(guò)程中涉及到的數(shù)據(jù)集的壓縮方法，歷史信息的存儲(chǔ)結(jié)構(gòu)和存儲(chǔ)方法，新數(shù)據(jù)到來(lái)時(shí)數(shù)據(jù)結(jié)構(gòu)的維護(hù)與更新，剪枝策略，結(jié)果集輸出等方面內(nèi)容； （3）頻繁閉合模式包含頻繁項(xiàng)集的完整信息，由它能夠得到所有的頻繁模式及其支持度信息，并且數(shù)量往往比頻繁模式小幾個(gè)數(shù)量級(jí)，在實(shí)際應(yīng)用中更容易理解和應(yīng)用。本文研究了動(dòng)態(tài)數(shù)據(jù)流環(huán)境下top k項(xiàng)長(zhǎng)度不小于給定值的頻繁閉合模式挖掘問(wèn)題，提出了基于滑動(dòng)窗口技術(shù)挖掘算法，來(lái)挖掘晟近一段時(shí)間內(nèi)用戶感興趣的數(shù)據(jù)