載波聚合下基于強化學(xué)習(xí)的資源分配研究.pdf

1、隨著社會的發(fā)展，人們對通信的需求也越來越大，同時人們對通信的要求也越來越高。智能終端的出現(xiàn)和普及，給無線通信系統(tǒng)帶來了新的要求。為了滿足人們?nèi)找嬖鲩L的移動通信數(shù)據(jù)要求，新一代移動通信技術(shù)LTE-Advanced（LTE-A）通過使用載波聚合技術(shù)，來獲取更大的頻譜帶寬。在獲取更大的頻譜帶寬下，如何最大化利用頻譜資源，是當(dāng)前通信系統(tǒng)關(guān)注和急需解決的問題之一。本文主要研究是在載波聚合下，引入兩種強化學(xué)習(xí)算法，來提高通信系統(tǒng)的資源利用率。

2、>　　本文首先對載波聚合技術(shù)和強化學(xué)習(xí)背景進行了介紹，然后重點介紹了單智能實體強化學(xué)習(xí)的系統(tǒng)模型、學(xué)習(xí)過程，和多智能實體聯(lián)合強化學(xué)習(xí)的模型，并對多智能實體強化學(xué)習(xí)的學(xué)習(xí)公式進行了推導(dǎo)，為下文的強化學(xué)習(xí)在載波聚合的資源分配做理論基礎(chǔ)。本文提出了在載波聚合下，利用強化學(xué)習(xí)思想分別對小區(qū)間資源分配和小區(qū)內(nèi)分配進行優(yōu)化。
　　對小區(qū)間資源分配優(yōu)化，本文提出利用梯度強化學(xué)習(xí)算法，對各個小區(qū)間資源分配進行優(yōu)化。梯度強化學(xué)習(xí)算法結(jié)合了當(dāng)前各個小

3、區(qū)的負載情況和載波上資源塊特性，為每個小區(qū)選擇合適的資源進行分配。通過仿真可知，相對其他傳統(tǒng)的固定分配方式和動態(tài)分配方式，使用梯度強化學(xué)習(xí)算法的分配方式能更好充分利用資源塊，提高頻譜效率，降低用戶不滿意度，同時可以根據(jù)需要設(shè)定自身的獎勵參數(shù)。
　　對小區(qū)內(nèi)資源分配優(yōu)化，本文提出利用Q學(xué)習(xí)算法，對小區(qū)內(nèi)的用戶資源分配進行優(yōu)化。本文利用Q學(xué)習(xí)算法學(xué)習(xí)業(yè)務(wù)到達的模型，根據(jù)用戶的業(yè)務(wù)類型和用戶相對的位置，結(jié)合載波資源塊的特性，為不同的分配