基于Hadoop平臺的分類算法研究.pdf

1、大數(shù)據(jù)所具備的海量性（Volume）、多樣性（Variety）、高速性（Velocity）和低價值密度性（Value）的特點，使其對傳統(tǒng)的數(shù)據(jù)分類算法而言成為了一種挑戰(zhàn)。由于受限于計算機的 CPU、內(nèi)存等資源，在處理大數(shù)據(jù)的分類、計算負(fù)載、重復(fù)迭代過程中，花費時間過長，計算效率過低，算法執(zhí)行效率不能滿足海量數(shù)據(jù)處理的要求。
　　Hadoop是一個免費開源的框架，可編寫和運行分布式應(yīng)用，對大規(guī)模數(shù)據(jù)進行處理和分析。由于Hadoop平

2、臺具有易編寫、可擴展、低成本等特點，Hadoop在處理海量數(shù)據(jù)方面得了到廣泛應(yīng)用。Mahout是Hadoop平臺下免費開源的子項目，將采用Java語言編寫的數(shù)據(jù)挖掘任務(wù)轉(zhuǎn)換成 MapReduce作業(yè)，專門用來解決各種復(fù)雜的數(shù)據(jù)挖掘問題。
　　論文基于Hadoop平臺，借鑒Mahout項目中部分源代碼，對數(shù)據(jù)挖掘中的分類算法進行研究，設(shè)計并實現(xiàn)了兩種改進的分類算法：（1）針對當(dāng)前大數(shù)據(jù)環(huán)境下樸素貝葉斯文本分類算法在處理文本分類任務(wù)時

3、存在的數(shù)據(jù)稀疏以及效率低的問題，提出了一種基于Hadoop的Dirichlet樸素貝葉斯文本分類算法。該算法引入了統(tǒng)計語言建模技術(shù)中的Dirichlet數(shù)據(jù)平滑方法，在Hadoop平臺上實現(xiàn)了算法的并行化。并通過實驗對比分析了該算法與傳統(tǒng)樸素貝葉斯文本分類算法對大規(guī)模文本數(shù)據(jù)的分類效果。結(jié)果表明，該算法顯著提高了傳統(tǒng)樸素貝葉斯文本分類算法的準(zhǔn)確率、召回率，且具有高效性和易擴展性，適用于大規(guī)模文本數(shù)據(jù)分類。（2）針對當(dāng)前大數(shù)據(jù)環(huán)境下隨機森