基于社區(qū)感知網(wǎng)絡(luò)的多機(jī)器人系統(tǒng)Q-學(xué)習(xí)與運(yùn)動控制研究.pdf

1、近年來，基于網(wǎng)絡(luò)的多機(jī)器人系統(tǒng)領(lǐng)域研究取得了很好的成果，但從整體來看基于網(wǎng)絡(luò)環(huán)境下的多機(jī)器人系統(tǒng)研究仍然面臨許多亟需解決的問題，主要包括:如何應(yīng)對實(shí)際環(huán)境復(fù)雜性所帶來的靜態(tài)節(jié)點(diǎn)無法全部連通問題;如何處理網(wǎng)絡(luò)信息傳輸帶來的時延、噪聲、數(shù)據(jù)包丟失等困擾;如何增強(qiáng)網(wǎng)絡(luò)化環(huán)境下機(jī)器人的環(huán)境理解能力;在網(wǎng)絡(luò)化系統(tǒng)的框架下，如何高效的實(shí)現(xiàn)多機(jī)器人之間的運(yùn)動控制等。
　　增強(qiáng)學(xué)習(xí)是多機(jī)器人系統(tǒng)通過與外界環(huán)境交互的一類有效的機(jī)器學(xué)習(xí)方法。Q-學(xué)習(xí)

2、作為增強(qiáng)學(xué)習(xí)的一種典型算法，由于其不用建立環(huán)境模型，通過試錯法與環(huán)境的不斷交互獲得策略的改進(jìn)和完善，最終實(shí)現(xiàn)對機(jī)器人的運(yùn)動控制。通過在環(huán)境中部署靜態(tài)節(jié)點(diǎn)，構(gòu)建可相互連通的靜態(tài)節(jié)點(diǎn)群組形成一個社區(qū)，通過無線通信方式形成多跳的社區(qū)感知網(wǎng)絡(luò)。針對維數(shù)災(zāi)和學(xué)習(xí)不充分等問題，本碩士論文采用ε-半徑近鄰分類方法對機(jī)器人的歷史狀態(tài)進(jìn)行分類和降維，同時將信息交互與共享等方法有機(jī)結(jié)合，提高機(jī)器人的Q-學(xué)習(xí)效率。最后，考慮學(xué)習(xí)信息在靜態(tài)節(jié)點(diǎn)社區(qū)感知網(wǎng)絡(luò)傳輸

3、存在時滯特性，將拓?fù)渚W(wǎng)絡(luò)的時滯假設(shè)為等時滯和異時滯兩種情況，分別討論多機(jī)器人系統(tǒng)在兩種時滯社區(qū)感知網(wǎng)絡(luò)環(huán)境下的Q-學(xué)習(xí)算法與運(yùn)動控制。主要研究工作如下:
　　第一，針對基于網(wǎng)絡(luò)的多機(jī)器人系統(tǒng)存在的不足，給出了社區(qū)感知網(wǎng)絡(luò)架構(gòu)。利用靜態(tài)智能節(jié)點(diǎn)提供社區(qū)內(nèi)其他機(jī)器人的歷史學(xué)習(xí)信息進(jìn)行綜合決策進(jìn)而加快自身學(xué)習(xí)，提出了一種改進(jìn)的多機(jī)器人Q-學(xué)習(xí)算法實(shí)現(xiàn)對機(jī)器人的運(yùn)動控制。
　　第二，針對社區(qū)感知網(wǎng)絡(luò)環(huán)境下的多機(jī)器人強(qiáng)化學(xué)習(xí)中存在的維

4、數(shù)災(zāi)和對社區(qū)網(wǎng)絡(luò)內(nèi)智能節(jié)點(diǎn)提供的其他機(jī)器人的歷史信息學(xué)習(xí)不充分等問題，提出一種在線ε-半徑近鄰狀態(tài)分類方法，對機(jī)器人歷史狀態(tài)進(jìn)行實(shí)時的降維分類;同時利用社區(qū)近鄰集更充分的學(xué)習(xí)其他機(jī)器人的歷史信息;最后分析了Q值矩陣收斂性問題。
　　第三，針對社區(qū)網(wǎng)絡(luò)感知環(huán)境下機(jī)器人之間的信息交互的問題，通過融合社區(qū)網(wǎng)絡(luò)內(nèi)的機(jī)器人的學(xué)習(xí)信息，提出社區(qū)信息共享機(jī)制及社區(qū)Q值表更新規(guī)則，從而減小網(wǎng)絡(luò)計算量和復(fù)雜度。同時考慮到學(xué)習(xí)信息在社區(qū)網(wǎng)絡(luò)內(nèi)的傳輸存