一種基于Hadoop的KNN增量式算法的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著海量數(shù)據(jù)的急劇增長(zhǎng)，數(shù)據(jù)的有效處理和計(jì)算成為目前亟待解決的問題。目前，由傳統(tǒng)的機(jī)構(gòu)結(jié)構(gòu)化數(shù)據(jù)發(fā)展到大量半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，這種趨勢(shì)給傳統(tǒng)的數(shù)據(jù)處理工具帶來了很大的挑戰(zhàn)。云計(jì)算技術(shù)是目前解決海量非傳統(tǒng)數(shù)據(jù)的有效途徑之一。云計(jì)算技術(shù)是將各種軟硬件資源統(tǒng)一放到一個(gè)公共的資源池中；應(yīng)用的個(gè)人和單位完全透明地根據(jù)需要獲取云計(jì)算模型中的計(jì)算力、存儲(chǔ)空間等服務(wù)。其中，Hadoop平臺(tái)是當(dāng)前廣泛應(yīng)用于云計(jì)算環(huán)境中的處理大規(guī)模海量數(shù)據(jù)的典型的開源

2、分布式處理系統(tǒng)。Hadoop平臺(tái)易于編程的MapReduce并行模式被大量應(yīng)用到數(shù)據(jù)挖掘、信息處理和推薦系統(tǒng)中。
　　增量式計(jì)算是伴隨海量數(shù)據(jù)處理產(chǎn)生的一種數(shù)據(jù)處理方式，該計(jì)算模式核心是盡可能用小的計(jì)算量來完成盡可能多得計(jì)算任務(wù)。其中表現(xiàn)在二次數(shù)據(jù)計(jì)算過程中，盡可能地利用之前初次數(shù)據(jù)計(jì)算的結(jié)果；二次計(jì)算僅針對(duì)原始數(shù)據(jù)變化的部分進(jìn)行計(jì)算，最大限度的整合、重用初次計(jì)算結(jié)果，最終得到最終的二次計(jì)算結(jié)果，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的高效處理。

3、　　本文通過分析增量計(jì)算的特點(diǎn)和Hadoop平臺(tái)框架的優(yōu)劣，選取了數(shù)據(jù)挖掘領(lǐng)域中常見的KNN分類算法進(jìn)行并行化，同時(shí)針對(duì)KNN算法結(jié)構(gòu)進(jìn)行了Hadoop平臺(tái)增量計(jì)算改造，提出了一種基于Hadoop平臺(tái)的KNN算法的增量計(jì)算。本文中著重針對(duì)KNN增量計(jì)算特征對(duì)Hadoop進(jìn)行源碼級(jí)別的改造，而應(yīng)用層對(duì)次改造完全透明。通過選取數(shù)據(jù)集與原始 Hadoop平臺(tái)進(jìn)行對(duì)比，結(jié)果表明基于Hadoop平臺(tái)的KNN分類增量計(jì)算能夠取得和原始Hadoop平