強(qiáng)化學(xué)習(xí)維數(shù)災(zāi)問題解決方法研究.pdf

1、本文針對強(qiáng)化學(xué)習(xí)任務(wù)中存在的一個普遍且重要的問題“維數(shù)災(zāi)”困難，即狀態(tài)空間的大小隨著特征數(shù)量的增加而發(fā)生指數(shù)級的增長，提出兩種方法從不同的角度來解決“維數(shù)災(zāi)”困難和優(yōu)化強(qiáng)化學(xué)習(xí)方法。同時，在所提理論的基礎(chǔ)上，以Eclipse為開發(fā)平臺，在SWT的基礎(chǔ)上，開發(fā)了俄羅斯方塊游戲，將其作為算法的實(shí)驗(yàn)平臺，從而對相應(yīng)的方法進(jìn)行實(shí)驗(yàn)效果的驗(yàn)證。同時又將強(qiáng)化學(xué)習(xí)理論應(yīng)用到Ad Hoc網(wǎng)絡(luò)路由選擇算法中，集中解決了路由效率、能源開銷、安全性等相關(guān)問題

2、。 本文的主要研究成果概括為以下四個方面： (1)分析研究了強(qiáng)化學(xué)習(xí)中的“維數(shù)災(zāi)”問題，并在此基礎(chǔ)上提出了一種大規(guī)模離散空間中的高斯強(qiáng)化學(xué)習(xí)方法。實(shí)驗(yàn)結(jié)果表明，結(jié)合了高斯過程的強(qiáng)化學(xué)習(xí)方法在各方面性能，如收斂速度以及最終實(shí)驗(yàn)效果等都有所提高。 (2)針對強(qiáng)化學(xué)習(xí)的“維數(shù)災(zāi)”問題和算法收斂速度過慢的困難，提出了一種基于動作分值的分層強(qiáng)化學(xué)習(xí)獎賞優(yōu)化方法。使用了動作分值和分層思想的強(qiáng)化學(xué)習(xí)方法可以達(dá)到優(yōu)化獎賞函數(shù)和加

3、快收斂速度的效果。實(shí)驗(yàn)結(jié)果表明，使用了該方法的強(qiáng)化學(xué)習(xí)算法能顯著提高算法的收斂速度和實(shí)驗(yàn)效果。 (3)以俄羅斯方塊游戲?yàn)閷?shí)驗(yàn)平臺，將上述方法應(yīng)用于其中，分析各個算法的優(yōu)劣和各類參數(shù)的性能比較，并提出可以進(jìn)一步改進(jìn)的實(shí)驗(yàn)效果的若干思想。 (4)以Ad Hoc網(wǎng)絡(luò)為應(yīng)用平臺，將相關(guān)的強(qiáng)化學(xué)習(xí)方法應(yīng)用于Ad Hoc網(wǎng)絡(luò)路由選擇過程中，從綜合的角度來解決Ad Hoc網(wǎng)絡(luò)中存在的路由效率、能源開銷、安全性、自適應(yīng)性等路由選擇問題。