Top K學習自動機算法研究.pdf

1、機器學習分為三類：監(jiān)督學習、非監(jiān)督學習和強化學習。學習自動機（Learning Automata，LA）是強化學習中重要的一類算法。學習自動機通過與環(huán)境的交互，在不需要對環(huán)境有先驗知識的前提下通過自主學習從環(huán)境的行為集中找出最優(yōu)行為。學習自動機因其實現(xiàn)簡單、理論完備以及抗干擾能力強被廣泛應用于模式識別、通信等領域。由于實際應用的需求，針對新型的Top K學習自動機的研究逐漸開始。Top K學習自動機的目標是從環(huán)境的行為集中找出最優(yōu)行為子

2、集，更適合一些工業(yè)環(huán)境以及全局優(yōu)化等實際應用中。
　　在此背景下，本文對Top K學習自動機的算法進行研究。目前這方面的研究還在起步階段，現(xiàn)有的算法只是對單個普通學習自動機算法進行了擴展，使其能尋找最優(yōu)行為子集。為了能將現(xiàn)有的大量普通學習自動機應用到這一新目標中，本文通過分析普通學習自動機算法和新的Top K學習自動機機理，提出兩種將主流普通學習自動機擴展為Top K學習自動機的擴展框架——Naive Top K擴展框架及Inte

3、gral Top K擴展框架并給出了這兩種框架的具體流程，并在此基礎上針對經(jīng)典的DPRI算法給出了擴展示例。通過仿真實驗，本文出示了兩種擴展框架各自的優(yōu)缺點。
　　其次，本文針對Top K學習自動機與普通學習自動機目標的差異進行深入研究，提出了一種新的Top K學習自動機算法——LELAK算法。這種算法的更新過程從理論上更吻合Top K學習自動機尋找最優(yōu)行為子集的目的。仿真實驗表明，LELAK算法的收斂速度優(yōu)于現(xiàn)有的Top K學習