大數(shù)據(jù)中關于效用模式挖掘的擴展研究.pdf

1、數(shù)據(jù)庫技術的飛速發(fā)展以及各行各業(yè)數(shù)據(jù)量的指數(shù)級增長引領著人們步入大數(shù)據(jù)時代。如何快速而有效的從大量的未處理的數(shù)據(jù)中獲取到人們所需要的信息已經(jīng)引起了人們的重視。高效用模式挖掘作為數(shù)據(jù)挖掘領域中一個重要的研究課題，首次被提出主要用于解決頻繁模式挖掘的缺陷，即頻繁模式挖掘僅僅考慮模式出現(xiàn)的頻率，而忽視了其他重要的信息，比如數(shù)量和利潤，效用模式挖掘正好彌補了這個缺陷。目前已有很多算法被提出用于效用模式挖掘的基礎問題。
　　然而，考慮到各種

2、實際因素，在效用模式挖掘的基礎問題上延伸出了許多新的研究課題還有待解決，包括非確定性高效用模式挖掘、閉合高效用模式挖掘、增量型高效用模式挖掘以及top-n高效用模式挖掘等等?，F(xiàn)有的增量型高效用模式挖掘算法和top-n高效用模式挖掘算法或者基于一個兩階段的模型，產(chǎn)生了大量的候選集、造成了規(guī)模性問題，或者基于一個垂直數(shù)據(jù)結構、產(chǎn)生了大量的連接操作、導致效率低下。為了解決上述問題，本文基于現(xiàn)有的d2HUP算法，使用了一種新的數(shù)據(jù)結構和多個新的

3、剪枝策略，分別提出了兩個新算法來解決增量型效用挖掘和top-n效用挖掘問題。
　　本文首先對現(xiàn)有的高效用模式挖掘算法做一個綜述性的分析及對比，主要表現(xiàn)在運行時間、內(nèi)存使用、候選集數(shù)量以及規(guī)模性方面，并得出d2HUP算法是目前已知的最優(yōu)的算法，尤其是在運行時間方面相比于其他的算法有1到2個數(shù)量級的提升，該算法作為后續(xù)增量型效用模式挖掘和top-n效用模式挖掘研究的基礎算法。
　　HUPTID算法是在d2HUP算法基礎上提出的主

4、要用于在數(shù)據(jù)庫交易項記錄增加和刪除的情況下直接的挖掘出所有的高效用模式。首先，一個新的數(shù)據(jù)結構被提出用于增量型效用模式挖掘。第二，三個策略被提出用于各種可能的改變情況下減少不必要的挖掘操作，同時，對挖掘過程中可能出現(xiàn)的三種情況分別提出了相應的策略來進行剪枝。在實驗部分，三種情況分別被分析，即交易項記錄既有插入也有刪除，交易項記錄只有插入、以及交易項記錄只有刪除。結果表明HUPTID算法比目前已知的增量型效用模式挖掘算法效率高出了1到2個