能量受限條件下的手語(yǔ)視頻編碼方法研究.pdf

1、手語(yǔ)是由手形、手臂運(yùn)動(dòng)并輔之以表情、唇動(dòng)以及其他體勢(shì)表達(dá)思想的視覺語(yǔ)言，是聾啞人進(jìn)行交流的最自然方式。與頭肩視頻不同，手語(yǔ)視頻由于增加了手形、手臂運(yùn)動(dòng)，并且存在手臉遮擋現(xiàn)象，所以更為復(fù)雜，對(duì)其進(jìn)行研究難度更大。和手語(yǔ)視頻識(shí)別與合成研究相比，目前針對(duì)手語(yǔ)視頻的編碼研究還較少，且大多數(shù)都是基于率失真(Rate-Distortion，R-D)理論，以給定編碼碼率為約束，研究編碼碼率和失真之間的關(guān)系，使重建手語(yǔ)視頻的失真最小。但是，隨著無線網(wǎng)絡(luò)

2、帶寬的快速增加和新一代視頻編碼標(biāo)準(zhǔn)H.264的廣泛應(yīng)用，編碼碼率的約束性已經(jīng)越來越弱，而無線視頻終端在功耗上所受的制約卻越來越強(qiáng)。因此，如何在無線視頻終端能量有限的約束條件下，使手語(yǔ)視頻經(jīng)編碼后的失真最小，減小能耗、延長(zhǎng)電池的更新周期已成為一個(gè)迫切需要解決的問題。
　　本論文對(duì)能量受限條件下的手語(yǔ)視頻編碼進(jìn)行了深入的研究，目的是利用聾啞人視覺選擇注意機(jī)制、功率率失真理論和感興趣區(qū)能量分配視頻編碼方法實(shí)現(xiàn)手語(yǔ)視頻編碼功耗、編碼碼率和

3、編碼失真之間的動(dòng)態(tài)平衡優(yōu)化，在確保手語(yǔ)視頻主客觀編碼質(zhì)量的同時(shí)，盡可能降低無線視頻終端總體功耗，延長(zhǎng)電池更新周期，為解決能量受限條件下聾啞人手語(yǔ)視頻編碼的最優(yōu)化參數(shù)配置和資源分配提供新理論和新方法。本論文的研究工作主要包括:
　　(1)理論分析和實(shí)驗(yàn)統(tǒng)計(jì)了影響H.264手語(yǔ)視頻編碼復(fù)雜度的因素，將H.264手語(yǔ)視頻編碼器參數(shù)按照復(fù)雜度分為四種不同的級(jí)別，每種級(jí)別具有不同的編碼復(fù)雜度和編碼質(zhì)量，然后依據(jù)無線視頻終端電池能量和視頻運(yùn)動(dòng)

4、復(fù)雜性自適應(yīng)地選擇編碼級(jí)別。實(shí)驗(yàn)結(jié)果表明該方法在保證手語(yǔ)視頻編碼質(zhì)量基本不變的同時(shí)，能夠減少編碼器計(jì)算復(fù)雜度，節(jié)省無線視頻終端系統(tǒng)的計(jì)算資源。
　　(2)綜合考慮無線視頻終端電池能量的時(shí)變性和聾啞人視覺注意機(jī)制的不平衡性，建立了感興趣區(qū)能量感知手語(yǔ)視頻編碼方法，該方法在幀層依據(jù)無線視頻終端當(dāng)前可使用電池能量和視頻幀復(fù)雜度確定參考幀數(shù)和搜索范圍，在宏塊層依據(jù)手語(yǔ)視頻不同宏塊區(qū)域的視覺重要性確定宏塊預(yù)測(cè)模式和量化系數(shù)，最后根據(jù)幀層和宏

5、塊層共同確定的參數(shù)進(jìn)行編碼。實(shí)驗(yàn)結(jié)果表明該方法在保證手語(yǔ)視頻感興趣區(qū)編碼質(zhì)量的同時(shí)，能夠進(jìn)一步減少編碼器計(jì)算復(fù)雜度，節(jié)省無線視頻終端系統(tǒng)的計(jì)算資源。
　　(3)詳細(xì)分析了H.264幀內(nèi)、幀間和跳幀三種編碼模式的功率率失真(Power-Rate-Distortion，P-R-D)特性，在此基礎(chǔ)上，分別建立了編碼一幀手語(yǔ)視頻的能耗模型和P-R-D模型，并提出了優(yōu)化一幀視頻中采用幀內(nèi)、幀間和跳幀編碼模式宏塊個(gè)數(shù)的算法，實(shí)驗(yàn)表明所提出的P