方差相關(guān)的策略梯度方法研究.pdf

1、強(qiáng)化學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個(gè)重要分支，它允許智能體直接與環(huán)境進(jìn)行交互，并且可以在無標(biāo)簽數(shù)據(jù)以及模型未知的情況下進(jìn)行自主在線學(xué)習(xí)。目前絕大多數(shù)強(qiáng)化學(xué)習(xí)算法的目標(biāo)是最大化平均獎(jiǎng)賞或者長(zhǎng)期累積（折扣）獎(jiǎng)賞，但是對(duì)于控制、金融以及醫(yī)療診斷等風(fēng)險(xiǎn)敏感的問題，在最大化上述目標(biāo)的同時(shí)應(yīng)該考慮控制獎(jiǎng)賞的方差，使得整個(gè)控制或者學(xué)習(xí)過程更加穩(wěn)定。本文著眼于風(fēng)險(xiǎn)敏感的強(qiáng)化學(xué)習(xí)問題，將方差相關(guān)的風(fēng)險(xiǎn)評(píng)估標(biāo)準(zhǔn)引入策略梯度方法中，提出方差相關(guān)的策略梯度算法。主要研究

2、可以概括為以下三部分：
　?。?）當(dāng)離策略行動(dòng)者-評(píng)論家算法采用探索性強(qiáng)的行為策略時(shí)，它的方差會(huì)增加，往往不能滿足風(fēng)險(xiǎn)敏感問題對(duì)于方差的要求。針對(duì)此問題，將方差相關(guān)的風(fēng)險(xiǎn)評(píng)估標(biāo)準(zhǔn)引入該算法中，提出一種方差相關(guān)的離策略行動(dòng)者-評(píng)論家算法—VOPAC。從理論上分析了算法的收斂性，并通過一個(gè)復(fù)雜的連續(xù)狀態(tài)空間控制問題驗(yàn)證算法在控制方差方面的有效性。
　?。?）時(shí)間差分與資格跡是強(qiáng)化學(xué)習(xí)中解決時(shí)間信度分配問題的非常有效的方法，并且被

3、廣泛運(yùn)用于各種強(qiáng)化學(xué)習(xí)算法中。基于真實(shí)在線TD(?)算法，引入方差相關(guān)風(fēng)險(xiǎn)評(píng)估標(biāo)準(zhǔn)，提出一種方差相關(guān)的策略梯度時(shí)間差分算法—VPGTD(?)。從理論上證明了該算法的向前觀點(diǎn)與向后觀點(diǎn)的完全一致，并通過一個(gè)情節(jié)式的連續(xù)狀態(tài)空間控制問題驗(yàn)證算法在控制方差方面的有效性。
　?。?）上述兩個(gè)研究是基于MDP模型的，對(duì)于POMDP模型，由于其對(duì)環(huán)境的感知是不準(zhǔn)確的，所以不確定性更強(qiáng)，方差更大。針對(duì)此問題，將帶中間狀態(tài)的策略梯度算法結(jié)合值函數(shù)