基于狀態(tài)預測的多智能體自協(xié)調(diào)協(xié)作模型設計.pdf

1、救援機器人是當前機器人與多智能體系統(tǒng)研究中的一個新興領域，它涉及機器人學、人工智能、智能控制、計算機視覺等多個領域并且有現(xiàn)實意義。協(xié)作模型系統(tǒng)作為整個救援機器人系統(tǒng)的核心，決定了機器人間的協(xié)調(diào)協(xié)作與運動規(guī)劃，是機器人的“大腦”。因此，協(xié)作模型系統(tǒng)的研究在多機器人、多智能體領域具有十分重要的意義。 本文以救援機器人RoboCupRescue仿真系統(tǒng)為研究對象，針對傳統(tǒng)的協(xié)作模型很難滿足多智能體系統(tǒng)在反應性、適應性、智能性和學習能力

2、等方面的要求，提出一種基于狀態(tài)預測的多智能自協(xié)調(diào)兩層協(xié)作模型。該模型把決策系統(tǒng)分為上下兩層：中央決策層和行為層。 上層中央決策層采用Q學習分別進行狀態(tài)預測和陣型規(guī)劃決策，并針對狀態(tài)預測和陣型規(guī)劃的特點和要求分別對Q學習的結構進行了合理的改進。針對普通Q學習在環(huán)境狀態(tài)復雜的情況下收斂速度較慢的缺點，通過分析RoboCupRescue仿真系統(tǒng)的特性，分別采用世界狀態(tài)屬性精簡的方法和模糊聚類的方法把數(shù)量眾多的系統(tǒng)狀態(tài)轉化為為數(shù)不多的精

3、簡狀態(tài)和模糊狀態(tài)，從而大大減少了Q學習的狀態(tài)空間，提高了算法的收斂速度；同時，針對普通Q學習算法易收斂到局部最優(yōu)，本文通過分析Q學習算法中三個關鍵參數(shù)(學習率α、折扣因子γ和溫度值T)的作用，提出一種自適應Q學習算法，動態(tài)地調(diào)整這三個參數(shù)，從而實現(xiàn)系統(tǒng)全局最優(yōu)動作。 下層行為層，取代傳統(tǒng)的機器人作為上層意圖的簡單執(zhí)行方法或單純的對外部世界做出反應，充分利用移動機器人的行為特性，提出一種行為效用評估算法對上層決策意圖和自身的反應式