基于試錯學(xué)習(xí)的強化學(xué)習(xí)算法的研究.pdf

1、從行為心理學(xué)發(fā)展而來，介于監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)的強化學(xué)習(xí)算法，目前是機器學(xué)習(xí)研究領(lǐng)域的熱點，越來越受到關(guān)注?，F(xiàn)有的強化學(xué)習(xí)算法如Sarsa學(xué)習(xí)算法、Q學(xué)習(xí)算法等需要大量的存儲空間來存儲已有的知識，在大規(guī)模或連續(xù)狀態(tài)空間問題上，可能會引發(fā)“維數(shù)災(zāi)難”;而基于非線性值函數(shù)逼近的的時間差分學(xué)習(xí)TD(λ)算法，易陷入局部極值，并且算法是發(fā)散的。考慮到智能計算算法的全局尋優(yōu)能力、自適應(yīng)性等特點，本文分別使用遺傳算法和免疫耐受機制對強化學(xué)習(xí)算法進行

2、優(yōu)化。
　　結(jié)合遺傳算法的全局搜索能力，本文提出了一種基于遺傳算法的強化學(xué)習(xí)算法，將強化學(xué)習(xí)算法中的權(quán)值整體看成是種群中的個體，仿生物“自然選擇”機理，對種群進行擇優(yōu)迭代，執(zhí)行選擇、交叉、變異等操作。其中，選擇操作是通過輪盤賭方法，采用精英保留策略，對種群中的個體以一定的概率隨機性進行較優(yōu)迭代;交叉是按照單點交叉，對隨機交叉點的兩個個體進行兩兩交互;變異是對個體的隨機基因位進行高斯變異。同時，在理論上進行了算法分析，在仿真實驗上對

3、新舊算法進行了對比，均表明新算法具有更好的性能。
　　為了記憶對環(huán)境的學(xué)習(xí)，從而在遇到相似環(huán)境時加快學(xué)習(xí)速度，本文接著提出了一種基于免疫耐受機制的強化學(xué)習(xí)算法。該算法以TD（λ）為前提，在免疫耐受機制的基礎(chǔ)上，對權(quán)值進行耐受調(diào)整。在學(xué)習(xí)中，用權(quán)值控制基于函數(shù)逼近的狀態(tài)值;當誤差大于一定閾值時，使用免疫耐受對權(quán)值進行優(yōu)化，否則直接根據(jù)系統(tǒng)狀態(tài)選擇最優(yōu)策略。經(jīng)過性能分析和仿真實驗，結(jié)果表明新算法能以更小的誤差、更快地進行全局搜索，并且