基于Hadoop的面向海量交通流數(shù)據(jù)分析與應(yīng)用.pdf

1、近年來，隨著城市機(jī)動車保有量的持續(xù)增長，交通違章和違法行為越來越多，如多輛車結(jié)伴作案、出租車罷工罷運(yùn)、酒駕等，對城市安全帶來了巨大隱患。如何快速識別以上交通行為模式對公安、交警主動預(yù)警和事后偵查具有重要意義。此外，針對日益增長的海量交通流數(shù)據(jù)，傳統(tǒng)的處理方法在存儲空間和計算效率上已經(jīng)不能滿足用戶的應(yīng)用需求。因此本文重點(diǎn)研究“多車頻繁結(jié)伴——本文稱之為伴隨”和“出租車罷工罷運(yùn)——本文稱之為浮動車聚集”兩種交通行為模式，并提出了面向交通流時

2、空大數(shù)據(jù)的伴隨模式高效挖掘算法和基于HBase的浮動車聚集模式實(shí)時監(jiān)測算法，然后在此基礎(chǔ)上構(gòu)建基于Hadoop的面向海量交通數(shù)據(jù)的分析和處理平臺。本文在如下方面進(jìn)行了較為有益的探索：
　?。?）通過對海量卡口過車數(shù)據(jù)的分析和面向海量交通流數(shù)據(jù)的伴隨車行為模式的研究，首先給出了頻繁項集相關(guān)概念在伴隨車挖掘中的新定義，并在此基礎(chǔ)上提出了基于MapReduce的時空大數(shù)據(jù)頻繁項集挖掘算法FSST，實(shí)驗(yàn)證明該算法在準(zhǔn)確性、執(zhí)行時間和內(nèi)存使

3、用等方面優(yōu)于傳統(tǒng)的Apriori和Sequence-Growth算法，最后提出了伴隨車的嫌疑度計算方法用于計算伴隨車嫌疑大小。
　　（2）根據(jù)浮動車聚集行為模式的特征，定義了浮動車聚集行為模式，同時參考基于網(wǎng)格的聚類算法和HBase的數(shù)據(jù)模型，提出了基于HBase的全天候全域浮動車聚集實(shí)時監(jiān)測算法，定時執(zhí)行該算法，在真實(shí)的、海量交通數(shù)據(jù)上的實(shí)驗(yàn)證明該算法監(jiān)測浮動車聚集的有效性。
　　（3）實(shí)現(xiàn)了上述研究內(nèi)容的基于Hadoop