基于強(qiáng)化學(xué)習(xí)的仿人智能控制器參數(shù)在線學(xué)習(xí)與優(yōu)化.pdf

1、仿人智能控制基于特征辨識的多控制器、多控制模態(tài)結(jié)構(gòu)，其控制的一個顯著特點是比例（閉環(huán)）和保持（開環(huán)）模式的切換，突破了傳統(tǒng)控制理論控制信息處理單映射的結(jié)構(gòu)，妥善地解決了穩(wěn)定性和準(zhǔn)確性、快速性之間的矛盾，解決了復(fù)雜難控系統(tǒng)的控制可行性問題。但是，由于其多控制器和多控制模態(tài)結(jié)構(gòu)，造成特征參數(shù)和控制參數(shù)眾多，給控制器的設(shè)計又帶來了困難。另外，系統(tǒng)本身因為周圍環(huán)境的改變而改變或者不確定因素的存在使得控制參數(shù)不能在這個運(yùn)行過程中一成不變，必須要對

2、參數(shù)進(jìn)行實時校正，才能直接用于實際系統(tǒng)。因為對于本論文的研究對象在使用仿人智能控制的同時引入在線參數(shù)學(xué)習(xí)與優(yōu)化的方法，對于實現(xiàn)快速高品質(zhì)的實時控制顯得十分重要。
　　 參數(shù)的在線學(xué)習(xí)與優(yōu)化在控制中起著重要的作用，其在線學(xué)習(xí)與離線學(xué)習(xí)參數(shù)的最大區(qū)別是在線學(xué)習(xí)參數(shù)可以適應(yīng)動態(tài)環(huán)境，而離線學(xué)習(xí)參數(shù)則只適于靜態(tài)或簡單的環(huán)境。在線參數(shù)的方法包括：模擬退火算法（SA）、粒子群算法（PSO）、單純形法和強(qiáng)化學(xué)習(xí)方法等等。本論文首次提出了利用強(qiáng)

3、化學(xué)習(xí)在線學(xué)習(xí)優(yōu)化仿人智能控制器的參數(shù)。
　　 連續(xù)動作強(qiáng)化學(xué)習(xí)自動機(jī)（Continuous Action Reinforcement Learning Automata，CARLA）是強(qiáng)化學(xué)習(xí)中的一種，其具有在參數(shù)空間上連續(xù)取值。其算法利用連續(xù)概率密度函數(shù)（Continuous Probability Density Function，CPDF），處理每一個決策變量，通過多次迭代對參數(shù)的修正，最終將參數(shù)收斂到一個穩(wěn)定值上，每一

4、次修正的過程都取決于每次迭代后得到的強(qiáng)化信號值。
　　 本文有效地實現(xiàn)了利用連續(xù)動作強(qiáng)化學(xué)習(xí)自動機(jī)在線學(xué)習(xí)具有多模態(tài)控制結(jié)構(gòu)和分層遞階結(jié)構(gòu)的仿人智能控制器參數(shù)。在文章的最后，選取研究對象，分別實現(xiàn)基于CARLA的仿人智能控制參數(shù)在線學(xué)習(xí)及基于CARLA的PID控制參數(shù)在線學(xué)習(xí)與優(yōu)化。此外還分別利用遺傳算法對系統(tǒng)參數(shù)進(jìn)行尋優(yōu)與CARLA參數(shù)尋優(yōu)進(jìn)行對比。結(jié)果顯示，在不同控制器作用下，仿人智能控制明顯優(yōu)于PID控制；在相同控制器作用