基于Q學(xué)習(xí)的欠驅(qū)動(dòng)雙足機(jī)器人行走控制研究.pdf

1、被動(dòng)動(dòng)態(tài)步行是雙足步行研究領(lǐng)域的一個(gè)重要分支，其目的在于挖掘動(dòng)態(tài)步行本質(zhì)特征，充分利用自身動(dòng)力學(xué)特性提高能效。由于機(jī)器人的結(jié)構(gòu)多樣性，動(dòng)態(tài)特性具有較大差異，難以選用其他機(jī)器人的運(yùn)動(dòng)軌跡作為參考步態(tài)。而在機(jī)器人與地面的不斷交互中，Q學(xué)習(xí)可以充分利用雙足機(jī)器人自身的動(dòng)力學(xué)特性，在試錯(cuò)中自主學(xué)習(xí)行走。本文針對(duì)五連桿欠驅(qū)動(dòng)步行機(jī)器人行走控制，提出了基于神經(jīng)網(wǎng)絡(luò)的Q學(xué)習(xí)方法進(jìn)行研究，實(shí)現(xiàn)了穩(wěn)定連續(xù)的動(dòng)態(tài)步行。本文完成的主要工作如下:
　　

2、 1.采用了平面五連桿四驅(qū)動(dòng)模型，并在已有的柔性驅(qū)動(dòng)方式的基礎(chǔ)上，為機(jī)器人選擇了柔性驅(qū)動(dòng)器。
　　 2.提出了一種基于RBF神經(jīng)網(wǎng)絡(luò)的Q學(xué)習(xí)控制方法。利用RBF網(wǎng)絡(luò)的泛化能力，代替了離散的Q值表，實(shí)現(xiàn)了機(jī)器人連續(xù)狀態(tài)到離散的Q值表的映射關(guān)系，解決空間信度問(wèn)題;將資格跡思想融入到RBF神經(jīng)網(wǎng)絡(luò)中，解決Q學(xué)習(xí)時(shí)間信度分配問(wèn)題;借鑒了等效倒立擺模型降低神經(jīng)網(wǎng)絡(luò)輸入維度;提出了改進(jìn)的ε貪婪算法來(lái)平衡Q學(xué)習(xí)中“探索”與“利用”的矛盾。仿真

3、得到了穩(wěn)定自然的周期動(dòng)態(tài)步態(tài)，驗(yàn)證了基于RBF神經(jīng)網(wǎng)絡(luò)的Q學(xué)習(xí)算法的有效性。
　　 3.為了解決Q學(xué)習(xí)“無(wú)監(jiān)督”、狀態(tài)-動(dòng)作空間大帶來(lái)的學(xué)習(xí)速度慢的難題，本文采用了基于歷史經(jīng)驗(yàn)回放技術(shù)加速Q(mào)學(xué)習(xí)。仿真表明基于歷史經(jīng)驗(yàn)回放技術(shù)能提高Q學(xué)習(xí)效率。
　　 4.設(shè)計(jì)了ADAMS仿真平臺(tái)。為得到更為實(shí)際的仿真效果，建立了ADAMS上的虛擬樣機(jī)。在此基礎(chǔ)上建立了ADAMS與MATLAB的聯(lián)合仿真平臺(tái)。仿真實(shí)驗(yàn)表明仿真平臺(tái)能簡(jiǎn)化繁瑣的