基于YARN和哈希技術的大數據K近鄰研究.pdf

1、大數據是近幾年機器學習領域最熱門的研究方向之一，大數據給傳統(tǒng)的機器學習帶來了巨大挑戰(zhàn)。K-近鄰是一種著名的分類算法。由于它簡單且易于實現，所以被廣泛應用于許多領域，如人臉識別、基因分類、決策支持等。然而，在大數據環(huán)境中，K-近鄰算法的效率變得非常低，甚至不可行。針對這一問題，基于 Yarn和哈希技術，本文提出了兩種解決方案：一種用 Mapreduce和 SimHash在云計算平臺上實現針對大數據集的K-近鄰分類；另一種用Spark和Si

2、mHash在云計算平臺上實現針對大數據集的K-近鄰分類。兩種解決方案的基本思路是類似的，包括三步：（1）對大數據集做哈希變換，將其變換到海明空間；（2）在海明空間中，基于云計算 Yarn平臺用大數據計算框架Mapreduce和Spark尋找與測試樣例x在同一個桶中的訓練樣例；（3）在同一個桶中再尋找測試樣例x的K個精確近鄰，并用這K個精確近鄰對x進行分類。實驗結果顯示，在分類能力保持的前提下，本文提出的解決方案是可行的，而且可以大幅度地