基于狀態(tài)預(yù)測(cè)強(qiáng)化學(xué)習(xí)的移動(dòng)機(jī)器人路徑規(guī)劃研究.pdf

1、隨著機(jī)器人技術(shù)的發(fā)展，機(jī)器人已開(kāi)始應(yīng)用到未知環(huán)境，與靜態(tài)已知環(huán)境下的移動(dòng)機(jī)器人路徑規(guī)劃研究相比較，對(duì)于動(dòng)態(tài)未知環(huán)境探索應(yīng)用問(wèn)題，環(huán)境的未知性和動(dòng)態(tài)變化都給機(jī)器人路徑規(guī)劃帶來(lái)了新的挑戰(zhàn)。由于機(jī)器人不具有環(huán)境的先驗(yàn)知識(shí)，移動(dòng)機(jī)器人在環(huán)境探索過(guò)程中不可避免的會(huì)遇到各式各樣的障礙物，因此，研究具有靈活規(guī)劃和避障功能的移動(dòng)機(jī)器人及其在未知環(huán)境下的路徑規(guī)劃具有重要的現(xiàn)實(shí)意義。本文將狀態(tài)預(yù)測(cè)與強(qiáng)化學(xué)習(xí)算法相結(jié)合，分別對(duì)靜態(tài)和動(dòng)態(tài)障礙物未知環(huán)境下移動(dòng)機(jī)

2、器人的路徑規(guī)劃進(jìn)行了研究。 文章首先對(duì)移動(dòng)機(jī)器人環(huán)境探索中路徑規(guī)劃的研究?jī)?nèi)容進(jìn)行了綜述，然后對(duì)移動(dòng)機(jī)器人環(huán)境探索下路徑規(guī)劃的研究現(xiàn)狀及發(fā)展作了回顧，并對(duì)本論文的主要結(jié)構(gòu)進(jìn)行了概述。 其次，詳細(xì)介紹了有關(guān)移動(dòng)機(jī)器人環(huán)境探索方面的知識(shí)、研究現(xiàn)狀及存在的問(wèn)題，包括柵格地圖的創(chuàng)建、到達(dá)目標(biāo)點(diǎn)的代價(jià)和效用值的計(jì)算、目標(biāo)點(diǎn)的定義及分配策略等問(wèn)題。然后，就路徑規(guī)劃的方法、傳感器系統(tǒng)及多移動(dòng)機(jī)器人路徑規(guī)劃的沖突消解等相關(guān)內(nèi)容作了詳細(xì)的闡

3、述。 第三，詳細(xì)介紹了強(qiáng)化學(xué)習(xí)的基本概念、原理、方法、各種算法及研究現(xiàn)狀等問(wèn)題，然后從單個(gè)機(jī)器人在靜態(tài)障礙物環(huán)境中的路徑規(guī)劃入手，以Q強(qiáng)化學(xué)習(xí)算法為基礎(chǔ)，通過(guò)合理劃分狀態(tài)空間與動(dòng)作空間，設(shè)計(jì)強(qiáng)化函數(shù)，描述了該算法在路徑規(guī)劃中的具體應(yīng)用。 第四，將強(qiáng)化學(xué)習(xí)算法與“預(yù)測(cè)”的思想相結(jié)合用于單個(gè)機(jī)器人在動(dòng)態(tài)環(huán)境下的路徑規(guī)劃，解決了針對(duì)規(guī)則運(yùn)動(dòng)障礙物和同時(shí)存在靜態(tài)、動(dòng)態(tài)障礙物兩種環(huán)境的避障問(wèn)題?？紤]到機(jī)器人前面每一步的決策對(duì)最后的

4、成功或失敗都有影響，所以在算法中引入資格跡(Eligibility trace)技術(shù)，采用改進(jìn)的Q學(xué)習(xí)算法實(shí)現(xiàn)控制。 第五，借用人類在動(dòng)態(tài)復(fù)雜環(huán)境下確定自己下一步行動(dòng)的預(yù)測(cè)機(jī)制思想，本文將狀態(tài)預(yù)測(cè)的方法與強(qiáng)化學(xué)習(xí)相結(jié)合，用于多移動(dòng)機(jī)器人系統(tǒng)環(huán)境探索下的路徑規(guī)劃。較以往單純使用強(qiáng)化學(xué)習(xí)方法實(shí)現(xiàn)的路徑規(guī)劃，本文的方法更加合理的實(shí)現(xiàn)了機(jī)器人之間的避碰，并通過(guò)預(yù)測(cè)函數(shù)降低群體強(qiáng)化學(xué)習(xí)空間維數(shù)、加快了群體強(qiáng)化學(xué)習(xí)算法的收斂速度。