時序差分學(xué)習(xí)在非完備信息機器博弈中的應(yīng)用.pdf

1、完備信息博弈已經(jīng)有很多應(yīng)用比較成功的解決方案。當(dāng)電腦走棋的時候，根據(jù)當(dāng)前棋局創(chuàng)建一個部分的博弈樹，利用估值函數(shù)對葉結(jié)點進(jìn)行估值，通過估值的結(jié)果來進(jìn)行極大極小值搜索，找到一個在根結(jié)點的最佳走步。這是很多的人工智能程序的核心架構(gòu)。然而，迄今為止非完備信息下的非常成功的人工智能博弈程序很少。非完備信息博弈問題的解決技術(shù)和完備信息有很大的差異，應(yīng)用于完備信息的技術(shù)不一定能夠成功的應(yīng)用到非完備信息博弈中。
　　在非完備信息博弈中，博弈雙方僅

2、擁有當(dāng)前游戲狀態(tài)的部分知識。在信息不明了的情況下，隨機策略成為一個可行的選擇。例如，對于橋牌游戲來講，在評估玩家的出牌時，蒙特卡羅技術(shù)對各張看不到的牌進(jìn)行抽樣，隨機的確定這些牌的種類，然后對獲得的完備信息牌局進(jìn)行極大極小值搜索，就好像每個玩家都知道所有的牌是什么一樣。上述過程多次進(jìn)行，選擇平均來說最好的出牌。
　　時序差分學(xué)習(xí)是機器學(xué)習(xí)領(lǐng)域強化學(xué)習(xí)技術(shù)的一種。傳統(tǒng)的學(xué)習(xí)技術(shù)通過預(yù)測值和真實結(jié)果之間的差值來調(diào)整描述狀態(tài)的各種參數(shù)，而

3、時序差分學(xué)習(xí)根據(jù)連續(xù)的預(yù)測之間的差值來調(diào)整。對現(xiàn)實生活中的大多數(shù)預(yù)測問題來說，時序差分相對于傳統(tǒng)方法而言需要更少的內(nèi)存，更低的計算時間復(fù)雜度。時序差分側(cè)重于對運算效率的提升，結(jié)果和傳統(tǒng)學(xué)習(xí)方法比較接近。
　　本文探討了時序差分學(xué)習(xí)在非完備信息機器博弈估值函數(shù)中的應(yīng)用，并基于該算法結(jié)合蒙特卡羅抽樣技術(shù)實現(xiàn)了一個具有自學(xué)習(xí)能力的四國軍棋博弈系統(tǒng)。本文的主要研究成果和創(chuàng)新之處在于：
　　1.進(jìn)一步擴充和精確化了四國軍旗博弈中的蒙特