支持車輛在線監(jiān)管的大規(guī)模數(shù)據(jù)流處理任務調度系統(tǒng).pdf

1、車輛在線監(jiān)管是指通過視頻識別攝像頭、GPS車輛定位裝置、RFID車牌[5]等先進的前端車輛動態(tài)信息感知技術，集中匯集整個城市范圍的車輛實時監(jiān)測數(shù)據(jù)。城市級別的道路車輛與停車場車輛的監(jiān)管，包括違章嫌疑車輛自動識別、車輛實時布控預警、特定車輛跟蹤分析、實時交通路況及交通流信息服務、出行誘導及停車誘導服務、城市車輛綜合分析等全方位的交通業(yè)務功能。同時，它還可為其它相關部門（如市政、環(huán)衛(wèi)、公交等）提供實時車輛數(shù)據(jù)的共享服務，從而為解決大中型城市

2、在機動車輛激增情況下所產(chǎn)生交通、治安、環(huán)境乃至更多的社會問題提供有效的應對手段。
　　為了滿足車輛在線監(jiān)管中提出的大規(guī)模車輛監(jiān)測數(shù)據(jù)流的多樣化實時處理需求，一方面需要采用分布式的并行計算架構來提升大規(guī)模車輛監(jiān)測數(shù)據(jù)處理性能，另一方面還需為諸多不同的流式車輛監(jiān)測數(shù)據(jù)處理任務提供有效的管理和運行支撐，以保障車輛監(jiān)測數(shù)據(jù)處理任務高效性和可靠性。上述需求對并行計算架構下不同計算節(jié)點間的車輛監(jiān)測數(shù)據(jù)處理任務的調度提出了較高的挑戰(zhàn)，要求靈活、

3、高效地實現(xiàn)任務調度，同時保障任務調度系統(tǒng)的擴展性和可用性。針對這一挑戰(zhàn)，本文提出了一種大規(guī)模數(shù)據(jù)流處理任務調度方法，并設計與實現(xiàn)了相應的大規(guī)模數(shù)據(jù)流處理任務調度系統(tǒng)。本文的主要貢獻如下:
　　(1)針對大規(guī)模數(shù)據(jù)流處理任務調度系統(tǒng)可擴展的需求，設計了一種分布式層次式調度結構。該結構采用了分散調度負載的研究思路。實驗表明，本文提出的調度方法處理性能在計算需求范圍內隨調度節(jié)點數(shù)量的增加而接近線性增長。
　　(2)針對大規(guī)模數(shù)據(jù)流

4、處理任務調度系統(tǒng)靈活高效的需求，在層次式調度結構基礎上，提出了一種動靜結合的大規(guī)模數(shù)據(jù)流處理任務調度的方法。實驗表明，本文提出的調度方法使得調度結果隨計算節(jié)點數(shù)量的變化而變化，且在調度節(jié)點沒有冗余的情況下，對系統(tǒng)實時性的影響可忽略。
　　(3)面對車輛在線監(jiān)管系統(tǒng)高可用的需求，設計了一個分布式集群協(xié)調器。該協(xié)調器基于開源工具ZooKeeper開發(fā)，為集群的可擴展性、可用性提供保障，也為任務的調度提供支撐。在此基礎上，實現(xiàn)了一個集群