基于增強(qiáng)學(xué)習(xí)的無(wú)線傳感器網(wǎng)絡(luò)自組織方法研究.pdf

1、在無(wú)線傳感器網(wǎng)絡(luò)中，傳感器節(jié)點(diǎn)在電源能量、計(jì)算能力、通信能力等方面具有局限性，節(jié)點(diǎn)間如何相互協(xié)作并發(fā)揮其整體綜合作用，是設(shè)計(jì)無(wú)線傳感器網(wǎng)絡(luò)自組織的重點(diǎn)和難點(diǎn)。同時(shí)，針對(duì)無(wú)線傳感器網(wǎng)絡(luò)能量有限的特點(diǎn)，如何延長(zhǎng)網(wǎng)絡(luò)生存期也是設(shè)計(jì)無(wú)線傳感器網(wǎng)絡(luò)的另一個(gè)重點(diǎn)。本文以無(wú)線傳感器網(wǎng)絡(luò)自組織方法作為主要研究對(duì)象，分析了幾種國(guó)內(nèi)外比較典型的無(wú)線傳感器網(wǎng)絡(luò)自組織的方法，以及在此基礎(chǔ)上提出了兩種基于增強(qiáng)學(xué)習(xí)的自組織方法。
　　 從現(xiàn)有的自組織方法可

2、以看出，無(wú)線傳感器網(wǎng)絡(luò)的自組織是通過(guò)路由協(xié)議和拓?fù)淇刂茖?shí)現(xiàn)的。針對(duì)這個(gè)兩個(gè)解決途徑，本文將增強(qiáng)學(xué)習(xí)算法運(yùn)用到自組織系統(tǒng)中，分別提出了基于Q 學(xué)習(xí)的自組織策略（QLSOP，Q-Learning Self-Organization Policy）和基于TD 能量預(yù)測(cè)的最小生成樹(shù)的自組織方法（TD-MST，Temporal Differences Minimum Spanning Tree）。QLSOP充分利用了Q-Learning 算法的動(dòng)

3、態(tài)適應(yīng)性，綜合考慮了距離、跳數(shù)、通訊能耗、剩余能耗的因素，使得節(jié)點(diǎn)可以利用值函數(shù)來(lái)尋找最優(yōu)路徑，找到傳感器節(jié)點(diǎn)的能量消耗和剩余能量之間的平衡點(diǎn)。TD-MST 利用TD 算法進(jìn)行節(jié)點(diǎn)能量預(yù)測(cè)，計(jì)算出能量消耗和剩余能量之比，以此作為權(quán)值，以sink 節(jié)點(diǎn)為根構(gòu)建最小生成樹(shù)。值得指出的是，利用TD 算法預(yù)測(cè)鄰居節(jié)點(diǎn)的能量消耗，避免了節(jié)點(diǎn)間發(fā)送大量的告知信息，減少控制信令的能耗。
　　 通過(guò)仿真實(shí)驗(yàn)結(jié)果可以看出，上述的兩種自組織方法可以