基于Spark云計(jì)算平臺(tái)的改進(jìn)K近鄰算法研究.pdf

1、隨著現(xiàn)今時(shí)代信息的飛速發(fā)展，互聯(lián)網(wǎng)已經(jīng)步入大數(shù)據(jù)時(shí)代。在面對(duì)海量的數(shù)據(jù)，用戶如何快速找到滿足自己需求的信息成為學(xué)術(shù)界急需研究的熱點(diǎn)難題?；ヂ?lián)網(wǎng)海量數(shù)據(jù)導(dǎo)致數(shù)據(jù)挖掘技術(shù)要求變得越來(lái)越迫切。通過(guò)數(shù)據(jù)挖掘方法，系統(tǒng)可以實(shí)現(xiàn)從海量數(shù)據(jù)高效挖掘出精準(zhǔn)數(shù)據(jù)。數(shù)據(jù)挖掘中的分類算法是預(yù)測(cè)數(shù)據(jù)趨勢(shì)、推薦迎合用戶意愿數(shù)據(jù)的有效手段。K近鄰分類算法又是查詢大規(guī)模空間數(shù)據(jù)的常用數(shù)據(jù)挖掘分類算法之一。算法在云計(jì)算平臺(tái)運(yùn)行，可以進(jìn)一步提高數(shù)據(jù)挖掘算法的運(yùn)算速率。S

2、park云計(jì)算平臺(tái)是基于Hadoop云平臺(tái)的進(jìn)一步優(yōu)化，不同于Hadoop的完全依賴HDFS文件系統(tǒng)，Spark實(shí)現(xiàn)了在內(nèi)存中處理數(shù)據(jù)集，進(jìn)一步提高了云平臺(tái)的數(shù)據(jù)處理速度。
　　針對(duì)用戶快速獲取信息的需求，本文在Spark云計(jì)算平臺(tái)上，使用并行化的改進(jìn)K近鄰分類算法實(shí)現(xiàn)為用戶快速提供推薦數(shù)據(jù)的目標(biāo)。本文提出兩個(gè)優(yōu)化點(diǎn):第一，本文對(duì)K近鄰分類算法索引創(chuàng)建技術(shù)進(jìn)行改進(jìn)，提高算法查找最近鄰數(shù)據(jù)點(diǎn)的效率。傳統(tǒng)的K近鄰分類算法主要制約因素是

3、查找最近鄰數(shù)據(jù)點(diǎn)效率低，Kd Tree是應(yīng)用于K近鄰分類算法索引創(chuàng)建的查找效率較高的數(shù)據(jù)結(jié)構(gòu)。影響Kd Tree的運(yùn)行效率主要在于算法運(yùn)行過(guò)程最近鄰節(jié)點(diǎn)查找中對(duì)非葉子節(jié)點(diǎn)的回溯。本文通過(guò)優(yōu)化Kd Tree中待分類數(shù)據(jù)點(diǎn)范圍與分割平面線的相交概率，減少K近鄰分類算法在查找最近鄰數(shù)據(jù)點(diǎn)時(shí)回溯節(jié)點(diǎn)的數(shù)目，實(shí)現(xiàn)提高K近鄰分類算法的分類效率。第二，本文優(yōu)化算法運(yùn)行的環(huán)境，實(shí)現(xiàn)了提高算法分類效率的效果。本文對(duì)改進(jìn)的K近鄰分類算法實(shí)行并行化，使算法能

4、很好的適應(yīng)云計(jì)算平臺(tái)的數(shù)據(jù)處理模型。本文使用Spark云計(jì)算平臺(tái)環(huán)境實(shí)現(xiàn)并行化的改進(jìn)K近鄰分類算法，在保證算法準(zhǔn)確度的前提下，提升了算法的分類速度。
　　在實(shí)驗(yàn)數(shù)據(jù)選取上，本文選用了UCI機(jī)器學(xué)習(xí)數(shù)據(jù)集。實(shí)驗(yàn)對(duì)比單機(jī)情況下傳統(tǒng)K近鄰分類算法和改進(jìn)K近鄰分類算法的效率和準(zhǔn)確率、Spark云平臺(tái)上改進(jìn)K近鄰分類算法和單機(jī)上改進(jìn)K近鄰分類算法的算法處理效率，得到在Spark云平臺(tái)運(yùn)行的改進(jìn)K近鄰分類算法，在保證算法分類準(zhǔn)確率的前提，較大