基于背景建模的高性能視頻編碼方法研究.pdf

1、隨著通信技術(shù)和多媒體技術(shù)的快速發(fā)展，視頻媒體已經(jīng)深入到人們工作和生活的各個(gè)方面，成為不可替代的第一媒介。而視頻的數(shù)據(jù)量巨大，不經(jīng)過(guò)壓縮編碼的視頻幾乎無(wú)法在網(wǎng)絡(luò)中傳輸，其存儲(chǔ)代價(jià)更是無(wú)法承受。因此，視頻編碼技術(shù)在目前的視頻大數(shù)據(jù)時(shí)代顯得愈加重要。視頻編碼技術(shù)是安防監(jiān)控、廣播電視等應(yīng)用的核心技術(shù)，視頻編碼標(biāo)準(zhǔn)為視頻編碼技術(shù)提供了統(tǒng)一的技術(shù)規(guī)范，使得視頻技術(shù)得以推廣流行。從上個(gè)世紀(jì)九十年代至今，制定了一系列的視頻編碼標(biāo)準(zhǔn)，不斷推動(dòng)了視頻技術(shù)的

2、發(fā)展，以滿足不斷變化的需求。然而，這幾年自媒體的爆炸式增長(zhǎng)，AR、VR等新媒體的出現(xiàn)，以及公共安全需求下監(jiān)控視頻的更高清化，均急劇加快了視頻數(shù)據(jù)的增長(zhǎng)規(guī)模，過(guò)去幾年產(chǎn)生的數(shù)據(jù)比以前四萬(wàn)年產(chǎn)生的數(shù)據(jù)還多，即使最新的視頻標(biāo)準(zhǔn)H.265/MPEG-H HEVC也已經(jīng)無(wú)法滿足現(xiàn)實(shí)需求，亟需新的編碼技術(shù)來(lái)進(jìn)一步提高編碼性能。
　　背景參考圖像技術(shù)是視頻編碼技術(shù)中的新興技術(shù)之一，其基于背景建模理論，通過(guò)充分利用靜態(tài)背景特性消除視頻信號(hào)的冗余，

3、最大限度提高編碼性能。然而，目前的背景圖像合成模型多為用于視頻分析的模型，此類模型需要大量訓(xùn)練樣本，迭代粒度粗放，并不適用于視頻編碼;面向背景參考圖像的碼率分配技術(shù)多基于經(jīng)驗(yàn)公式，無(wú)法根據(jù)內(nèi)容進(jìn)行自適應(yīng)調(diào)整;此外，由于無(wú)法使用參考圖像，幀內(nèi)編碼效率仍比較低，所耗比特?cái)?shù)非常高，容易引起傳輸延時(shí)、丟包等現(xiàn)象。為了解決這些問(wèn)題，本論文重點(diǎn)研究背景建模理論在視頻編碼中的應(yīng)用，面向未來(lái)（下一代）編碼標(biāo)準(zhǔn)技術(shù)，在背景參考圖像的合成、背景塊的幀間碼率

4、分配和監(jiān)控視頻的幀內(nèi)編碼方法三個(gè)方面開展了研究。
　　論文主要?jiǎng)?chuàng)新點(diǎn)及貢獻(xiàn)概括如下:
　　(1)本文提出了一種高效的背景參考圖像漸進(jìn)式合成算法。針對(duì)靜態(tài)攝像頭和動(dòng)態(tài)攝像頭兩種情況分別設(shè)計(jì)了合成算法。對(duì)于靜態(tài)攝像頭視頻，首先基于背景圖像的時(shí)空相關(guān)性，檢測(cè)所有符合條件的候選背景塊;再根據(jù)各個(gè)背景塊的時(shí)空分布打分，基于分?jǐn)?shù)排序后選取若干背景塊進(jìn)行高質(zhì)量編碼;最后使用重建背景塊漸進(jìn)式更新背景參考圖像。對(duì)于動(dòng)態(tài)攝像頭視頻，基于準(zhǔn)確的全

5、局運(yùn)動(dòng)估計(jì)對(duì)齊圖像，再結(jié)合靜態(tài)背景下的算法檢測(cè)背景塊，在背景參考圖像的更新過(guò)程中引入光照平滑算法。這兩種針對(duì)靜態(tài)和動(dòng)態(tài)攝像頭的背景參考圖像合成算法均有效提高了視頻的編碼效率，避免了因額外編碼背景參考圖像帶來(lái)的碼率陡增現(xiàn)象。本文提出的針對(duì)靜態(tài)背景的背景參考圖像合成算法已被最新視頻編碼國(guó)內(nèi)標(biāo)準(zhǔn)AVS2接收，并被集成到AVS2參考軟件中。
　　(2)本文提出了基于穩(wěn)定性分析的背景參考圖像碼率分配策略。基于已有的碼率分配方法，本文在時(shí)域上

6、對(duì)背景塊的碼率進(jìn)行了二次分配，即在已分配給背景塊碼率的約束下，研究如何有效分配時(shí)域各個(gè)背景塊間的碼率，以實(shí)現(xiàn)全局編碼性能最優(yōu)。通過(guò)分析視頻內(nèi)容的穩(wěn)定性，提取各個(gè)背景塊的運(yùn)動(dòng)分布信息，估計(jì)當(dāng)前背景參考圖像中圖像塊被后續(xù)參考的概率大小，進(jìn)而確定當(dāng)前編碼圖像中背景塊與后續(xù)相同位置偽背景塊的編碼質(zhì)量關(guān)系?；谠撽P(guān)系，獲得全局率失真準(zhǔn)則下的最優(yōu)碼率分配方案，指導(dǎo)背景塊的編碼決策。與傳統(tǒng)的碼率分配方法不同，本文提出的背景塊的碼率分配策略在進(jìn)行碼率分

7、配時(shí)，不僅僅考慮當(dāng)前編碼塊的率失真最優(yōu)，還考慮了當(dāng)前背景塊失真對(duì)后續(xù)塊的影響，實(shí)現(xiàn)了全局率失真的最優(yōu)化。
　　(3)本文提出了基于光照分離和深度學(xué)習(xí)的監(jiān)控序列幀內(nèi)編碼方法。一方面，考慮到不同時(shí)刻背景部分的反射系數(shù)基本不變，僅僅發(fā)生光照變化，本文提出了基于光照分離的背景塊幀內(nèi)編碼方法。該方法使用不同時(shí)刻的背景圖像序列進(jìn)行光照分離，提取背景圖像的反射系數(shù)圖，并將其編碼存儲(chǔ)，使得后續(xù)任何編碼圖像均可訪問(wèn)?；诟哔|(zhì)量反射系數(shù)圖，背景塊均可

8、分離出光照分量。由于光照信號(hào)具有更強(qiáng)的空間相關(guān)性，更適合于幀內(nèi)編碼，該方法獲得了更優(yōu)的編碼性能，并有效降低了幀內(nèi)編碼所需比特?cái)?shù)。另一方面，考慮到原有幀內(nèi)預(yù)測(cè)方法模式單一，無(wú)法根據(jù)內(nèi)容自適應(yīng)調(diào)整插值方式，本文還提出了新的基于深度學(xué)習(xí)的幀內(nèi)預(yù)測(cè)模式。在該模式下，將原有最優(yōu)預(yù)測(cè)模式的預(yù)測(cè)圖像塊通過(guò)周圍可用重建像素填補(bǔ)作為輸入圖像塊，使用該圖像塊通過(guò)卷積神經(jīng)網(wǎng)絡(luò)獲得的輸出圖像塊作為該模式的預(yù)測(cè)圖像。該模式相比原有幀內(nèi)預(yù)測(cè)模式，更充分利用了周圍已