基于Hadoop的橋梁監(jiān)測數(shù)據(jù)孤立點挖掘研究.pdf

1、橋梁是公路交通的重要組成部分，保證橋梁的運營安全極為重要。橋梁健康監(jiān)測是一種通用的管理辦法，監(jiān)測數(shù)據(jù)處理是其中的一個核心內(nèi)容。隨著時間的推移，橋梁監(jiān)測系統(tǒng)會累積越來越多的數(shù)據(jù)，而傳統(tǒng)的數(shù)據(jù)處理技術(shù)在面對日益增長的數(shù)據(jù)存儲與處理時壓力越來越大。Hadoop是一種流行的大數(shù)據(jù)處理平臺，它以HDFS分布式文件存儲系統(tǒng)及MapReduce計算框架為核心，Hive、Sqoop等工具為枝干，形成了一個完整的大數(shù)據(jù)處理生態(tài)系統(tǒng)，使用Hadoop處理大

2、量橋梁監(jiān)測數(shù)據(jù)，具有理論意義及現(xiàn)實價值。數(shù)據(jù)挖掘是常用的一種數(shù)據(jù)處理手段，孤立點挖掘是其中的熱門研究之一，目前在許多行業(yè)與領(lǐng)域如網(wǎng)絡(luò)入侵檢測、天氣預(yù)報等都有所應(yīng)用，而在橋梁監(jiān)測領(lǐng)域，孤立點數(shù)據(jù)的挖掘研究還沒有得到足夠重視。本文主要研究基于Hadoop的橋梁監(jiān)測數(shù)據(jù)孤立點挖掘方案，研究內(nèi)容體現(xiàn)在以下幾個方面:
　　第一，針對K-近鄰孤立點算法開銷大的缺點，結(jié)合劃分思想、聚類思想及最小限界矩陣?yán)碚撨M行了改進，提出一種基于k-均值聚類劃

3、分的k-近鄰孤立點算法（KMKNN）。該算法首先對數(shù)據(jù)集進行均值聚類，以聚類結(jié)果作為劃分依據(jù)把數(shù)據(jù)集分成不同區(qū)域，判斷每個區(qū)域是否包含孤立點，對不存在孤立點的區(qū)域進行剪枝處理，最后對包含孤立點的候選區(qū)域中的數(shù)據(jù)進行k-近鄰計算，得到孤立點。實驗表明，改進算法相比原始K-近鄰算法提高了運算效率。
　　第二，KMKNN算法的缺點在于對數(shù)據(jù)集進行K-均值聚類時，需要給定聚類數(shù)目且隨機選取初始聚類中心，得到的聚類結(jié)果精度不高，使得最終得到

4、的孤立點不準(zhǔn)確。因此，對KMKNN算法進行改進，使用Canopy聚類計算初始聚類數(shù)目，使用最大最小距離算法計算初始聚類中心，提出一種基于Canopy與最大最小距離算法的均值聚類劃分k-近鄰算法(CMM-KMKNN)。實驗表明，改進算法提高了聚類精度及孤立點精度。
　　第三，由于KMKNN及CMM-KMKNN算法需要對數(shù)據(jù)進行大量迭代計算操作，算法開銷大，因此搭建了一個Hadoop集群實驗環(huán)境，對KMKNN與CMM-KMKNN算法實