海量數(shù)據(jù)挖掘技術研究.pdf

1、該文以數(shù)據(jù)挖掘最基本問題,頻繁模式與關聯(lián)規(guī)則挖掘為切入點,研究高時間效率、高空間可伸縮性的挖掘算法和分布、異質、海量數(shù)據(jù)的協(xié)同挖掘軟件模型.該文首先發(fā)現(xiàn)了基于樹表示形成的虛擬投影方法,用于按深度優(yōu)先挖掘密集型數(shù)據(jù)集;提出了稀疏型數(shù)據(jù)集表示形式及非過濾投影方法;進一步提出了基于伺機投影的思想,設計并實現(xiàn)了基于伺機投影的全新算法OpportuneProject,對比實驗表明該算法在挖掘各種規(guī)模與特性數(shù)據(jù)庫的效率與可伸縮性都是最佳的.提出了一

2、種組織閉合模式集的復合型頻繁模式樹,支持搜索空間的高效剪裁,有效地平衡了樹生成與樹剪裁的代價,實現(xiàn)了閉合模式集挖掘算法CROP,其效率與可伸縮性大大優(yōu)于CHARM等算法.在此基礎上,該文提出了閉合性剪裁和一般性剪裁相結合,并能適時前窺的最大模式挖掘算法MOP,大大優(yōu)于MaxMiner和MAFIA等算法.該文進一步提出了根據(jù)信息熵自動生成與人機交互相結合來確定數(shù)值型與類別型屬性概念層次的新方法,不僅支持逐層挖掘而且能進行跨層挖掘,并實現(xiàn)了