基于強(qiáng)化學(xué)習(xí)的城市快速路交織區(qū)入口匝道智能控制方法.pdf

1、快速路匝道系統(tǒng)相比高速公路匝道系統(tǒng)，入口匝道和出口匝道之間的距離更近，交織區(qū)更易發(fā)生主線(xiàn)擁擠并向上游和入口匝道蔓延。通常用匝道控制來(lái)解決主線(xiàn)擁擠和入口匝道排隊(duì)問(wèn)題，傳統(tǒng)方法存在交通模型構(gòu)建、模型參數(shù)標(biāo)定、依賴(lài)先驗(yàn)知識(shí)以及控制遲滯性等缺陷。本文基于強(qiáng)化學(xué)習(xí)研究快速路交織區(qū)匝道智能控制方法，直接利用實(shí)測(cè)數(shù)據(jù)對(duì)快速路路網(wǎng)多個(gè)入口匝道進(jìn)行協(xié)調(diào)控制，且控制效果受控制參數(shù)設(shè)置的影響較小，是一類(lèi)無(wú)模型、自學(xué)習(xí)的匝道智能控制方法。
　　明確交織區(qū)

2、基本概念，基于實(shí)際采集數(shù)據(jù)進(jìn)行交織區(qū)交通特性分析，為后文仿真實(shí)驗(yàn)路網(wǎng)構(gòu)建提供基礎(chǔ)。
　　介紹強(qiáng)化學(xué)習(xí)基本概念，分析Q學(xué)習(xí)算法及其改進(jìn)算法SARSA的優(yōu)劣性?；赟ARSA算法建立單個(gè)匝道控制模型，以匝道調(diào)節(jié)量為行為，匝道排隊(duì)長(zhǎng)度、交織區(qū)通過(guò)量和占有率為狀態(tài)，路網(wǎng)通過(guò)量為獎(jiǎng)賞函數(shù)，確定行為空間、狀態(tài)空間、獎(jiǎng)賞函數(shù)和行為選擇機(jī)制，形成基于SARSA的匝道局部控制方法(SRM)。
　　基于多Agent強(qiáng)化學(xué)習(xí)方法，將匝道局部智能控

3、制擴(kuò)展至協(xié)調(diào)控制方法，對(duì)多個(gè)入口匝道進(jìn)行控制?；趨f(xié)作圖法，給出其Q值矩陣更新規(guī)則、聯(lián)合獎(jiǎng)賞函數(shù)和最優(yōu)聯(lián)合行為策略，形成基于SARSA的匝道協(xié)調(diào)控制方法(CSRM);考慮匝道長(zhǎng)度限制和交織區(qū)臨界占有率逼近，對(duì)獎(jiǎng)賞函數(shù)進(jìn)行修正，使得算法能夠充分利用空閑排隊(duì)空間，且增大交織區(qū)交通通過(guò)量。
　　構(gòu)建Vissim-Matlab仿真平臺(tái)，以南京卡子門(mén)快速路部分路段為仿真背景，將本文的局部和協(xié)調(diào)控制方法與傳統(tǒng)方法進(jìn)行對(duì)比。
　　局部控制

4、方案對(duì)比:新方法SRM相比于傳統(tǒng)方法ALINEA平均延誤減少16.10％，總延誤減少12.10％，平均車(chē)速提升6.77％，總行程時(shí)間減少了3.78％;此外，SRM的匝道排隊(duì)長(zhǎng)度小于ALINEA，且高峰期擁擠匝道交織區(qū)平均交通通過(guò)量相比ALINEA提高了210veh/h。
　　協(xié)調(diào)控制方案對(duì)比:新方法CSRM相對(duì)于傳統(tǒng)方法BOTTLENECK平均延誤減少4.31％，總延誤減少2.09％，平均車(chē)速提升了3.69％，總行程時(shí)間基本持平;