基于圖像碼流的視頻混合器的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、視頻混合器為視頻會(huì)議的參與者提供多畫面視頻合成的服務(wù)，是視頻會(huì)議系統(tǒng)中的一個(gè)關(guān)鍵組成部分。一直以來，視頻混合器一般由專用硬件來實(shí)現(xiàn)。本文針對(duì)帶寬及服務(wù)器資源受限的中低端應(yīng)用場(chǎng)景，設(shè)計(jì)并實(shí)現(xiàn)了一種軟件化的視頻混合器，并對(duì)其性能進(jìn)行了測(cè)試。 在對(duì)資源受限的應(yīng)用場(chǎng)景的需求分析的基礎(chǔ)上，本文提出了基于圖像碼流的軟件視頻混合系統(tǒng)的框架。本文提出的視頻混合系統(tǒng)框架主要由混合器、幀同步器和傳輸控制模塊三個(gè)部分組成。在混合器中，通過對(duì)圖像碼流的

2、特征字節(jié)的提取獲取圖像的屬性以及圖像的熵編碼字節(jié)流，并以圖像片拼接的方式完成多畫面視頻的組合。避免了在服務(wù)器端對(duì)圖像的編解碼操作，以此減輕服務(wù)器的計(jì)算負(fù)擔(dān)；在幀同步器中，通過對(duì)接收到的RTP報(bào)文中的時(shí)間戳信息對(duì)不同發(fā)送者的視頻畫面進(jìn)行同步；在傳輸控制模塊中，使用冗余編碼對(duì)視頻流進(jìn)行保護(hù)，在發(fā)生丟包的時(shí)候采用后一分組中的冗余信息對(duì)前一分組進(jìn)行恢復(fù)。 在實(shí)現(xiàn)部分，本文首先描述了圖像預(yù)處理過程，給出了通過JPEG2000碼流截?cái)嗖僮餍?/p>

3、改輸入圖像分辨率的方法和通過特征提取獲得的圖像碼流類的結(jié)構(gòu)；然后在圖像片拼接部分，給出了通過畫布尺寸計(jì)算、圖像片索引計(jì)算和負(fù)載合成操作拼接圖像片的流程；最后描述了通過RTP發(fā)送和接收視頻數(shù)據(jù)的過程。 本文通過使用Java Media Framework提供的應(yīng)用程序接口對(duì)基于碼流的視頻混合器進(jìn)行了實(shí)現(xiàn)，并在當(dāng)前主流配置的服務(wù)器平臺(tái)下對(duì)其性能進(jìn)行了測(cè)試。測(cè)試結(jié)果表明，基于碼流的視頻混合器在處理視頻混合任務(wù)時(shí)能以較低的CPU的占用率