增強學(xué)習(xí)reinforcement learning經(jīng)典算法梳理

1、增強學(xué)習(xí)增強學(xué)習(xí)ReinfcementLearning經(jīng)典算法梳理經(jīng)典算法梳理1：policyvalueiteration前言前言就目前來看，深度增強學(xué)習(xí)（DeepReinfcementLearning)中的很多方法都是基于以前的增強學(xué)習(xí)算法，將其中的valuefunction價值函數(shù)或者Policyfunction策略函數(shù)用深度神經(jīng)網(wǎng)絡(luò)替代而實現(xiàn)。因此，本文嘗試總結(jié)增強學(xué)習(xí)中的經(jīng)典算法。本文主要參考：1ReinfcementLearn

2、ing:AnIntroduction；2ReinfcementLearningCoursebyDavidSilver1預(yù)備知識預(yù)備知識對增強學(xué)習(xí)有所理解，知道MDP，Bellman方程詳細可見：DeepReinfcementLearning基礎(chǔ)知識（DQN方面）很多算法都是基于求解Bellman方程而形成：ValueIterationPolicyIterationQLearningSARSA2PolicyIteration策略迭代策略迭

3、代PolicyIteration的目的是通過迭代計算valuefunction價值函數(shù)的方式來使policy收斂到最優(yōu)。PolicyIteration本質(zhì)上就是直接使用Bellman方程而得到的：那么PolicyIteration一般分成兩步：PolicyEvaluation策略評估。目的是更新ValueFunctionPolicyImprovement策略改進。使用greedypolicy產(chǎn)生新的樣本用于第一步的策略評估。然后改變成迭

4、代形式valueiteration的算法如下：那么問題來了：PolicyIteration和ValueIteration有什么本質(zhì)區(qū)別？為什么一個叫policyiteration，一個叫valueiteration呢？原因其實很好理解，policyiteration使用bellman方程來更新value，最后收斂的value即vπ是當(dāng)前policy下的value值（所以叫做對policy進行評估），目的是為了后面的policyimpro

5、vement得到新的policy。而valueiteration是使用bellman最優(yōu)方程來更新value，最后收斂得到的value即v?就是當(dāng)前state狀態(tài)下的最優(yōu)的value值。因此，只要最后收斂，那么最優(yōu)的policy也就得到的。因此這個方法是基于更新value的，所以叫valueiteration。從上面的分析看，valueiteration較之policyiteration更直接。不過問題也都是一樣，需要知道狀態(tài)轉(zhuǎn)移函數(shù)p