面向海量數(shù)據(jù)的快速挖掘算法研究.pdf

1、數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中提取隱含在其中的、人們事先未知的、但又是潛在有用的信息和知識的過程。隨著信息技術(shù)的高速發(fā)展，人們積累的數(shù)據(jù)量急劇增長，動輒以TB計算，如何從海量的數(shù)據(jù)中提取有用的信息已經(jīng)成為必須解決的問題。針對海量數(shù)據(jù)的挖掘，分布式并行處理和增量式處理是有效的解決方案。
　　云計算是一種新興的共享基礎(chǔ)架構(gòu)的計算模型，它擅長處理大規(guī)模數(shù)據(jù)和進行大規(guī)模計算，它是分布式計算的延伸和拓展，并行

2、和分布是云計算的關(guān)鍵。因此本文結(jié)合云計算，以關(guān)聯(lián)規(guī)則的增量挖掘為切入點，提出解決海量數(shù)據(jù)快速挖掘的新思路。
　　本文介紹了數(shù)據(jù)挖掘的定義、功能、步驟和挑戰(zhàn)，重點分析了關(guān)聯(lián)規(guī)則挖掘算法；介紹了云計算的概念、特點、形式和關(guān)鍵技術(shù)，重點分析了典型的云計算平臺Hadoop的分布式文件系統(tǒng)HDFS和并行編程模型MapReduce的實現(xiàn)原理。在此基礎(chǔ)上，重點研究了關(guān)聯(lián)規(guī)則挖掘中大頻繁項目集的并行化挖掘算法，提出了基于云計算的快速關(guān)聯(lián)規(guī)則增量挖

3、掘算法C-FUP（CloudComputingBasedFUP）；以提高并行化效率為目標，對Hadoop中HDFS的數(shù)據(jù)集分配方法進行改進，設(shè)計了一種能根據(jù)集群中異構(gòu)節(jié)點的計算性能進行數(shù)據(jù)集分配的方法DAMBNP（DatasetAllocationMethodBasedonNodePerformance）；并對Hadoop的性能進行分析，針對其對大量小文件的處理能力不足的問題提出了解決思路。
　　為了驗證所提出的算法和方法的有效性