基于h.264_avc的可伸縮視頻編碼及其相關(guān)技術(shù)研究_博士學位論文

1、<p>　　基于H.264_AVC的可伸縮視頻編碼及其相關(guān)技術(shù)研究</p><p><b>　　摘 要</b></p><p>　　H.264/AVC是ITU-T和ISO聯(lián)合推出的新標準，采用和發(fā)展了近幾年視頻編碼方面的先進技術(shù)，以較高編碼效率和網(wǎng)絡(luò)友好性而著稱。它仍基于以前視頻編碼標準的運動補償混合編碼方案，主要不同有：增強的運動預(yù)測能力；準確匹配的較小塊

2、變換；自適應(yīng)環(huán)內(nèi)濾波器；增強的熵編碼。測試結(jié)果表明這些新特征使編碼效率比以前的標準約提高50%，但增加了復(fù)雜度。本文著重研究經(jīng)傳輸層的若干應(yīng)用問題。</p><p>　　隨著新的視頻編碼標準H.264/AVC的逐步推廣應(yīng)用，如何將H.264/AVC視頻流經(jīng)MPEG-2的系統(tǒng)傳輸層傳輸，對于充分利用原有大量的MPEG-2系統(tǒng)有重要意義。對此提出一種解決方案。要點是：先把H.264/AVC視頻作為MPEG-2系統(tǒng)層傳

3、輸?shù)幕玖鳎缓髷U展MPEG-2標準中的傳輸流系統(tǒng)目標解碼器（T-STD），使之可以將H.264/AVC編碼視頻作為MPEG-2傳輸流（TS）在Internet上傳輸和解碼。被解碼的基本流通常來自于一個“容器”（如AVI或者TS），在客戶端從服務(wù)器端的這個容器中取出H.264/AVC基本流后便可實時解碼、顯示。經(jīng)仿真實驗表明，該方案能夠獲得較好的流視頻效果，在帶寬受限的情況下信噪比低于40dB的幀數(shù)少于5%，可用于IP網(wǎng)絡(luò)流視頻或移動視

4、頻中。</p><p>　　在完成H.264算法優(yōu)化和多媒體指令集優(yōu)化之后，將其擴展至基于比特平面編碼的FGS編碼，從而實現(xiàn)了基于PC平臺的實時SNR（信噪比）精細粒度可伸縮編碼，CIF格式編碼幀速可達30fps以上。此外，為使H.264/AVC碼流能在帶寬較大變化的IP和無線等異構(gòu)網(wǎng)絡(luò)中傳輸，本文另外提出一種將H.264擴展至混合空域/時域/SNR精細可伸縮方案，并給出了相應(yīng)的碼率控制策略：根據(jù)率失真優(yōu)化的結(jié)果

5、來選擇QP（量化參數(shù)），在編碼器端對基本層作GOP（圖像組）級的碼率控制，而對增強層作逐次精細化的碼率控制。本文方案與由JM8.6的基本層碼率控制、FGS比特平面截斷作增強層碼率控制（簡稱JM8.6+FGS）的方法相比，視頻質(zhì)量更高，PSNR（峰值信噪比）變化更為平滑。且在接收端，在某一目標比特率約束下，可以由不同時間分辨率（幀速率）和不同空間分辨率（圖像格式）配置的終端截取和實時解碼。仿真結(jié)果表明，本文方法的亮度平均峰值信噪比（Y-P

6、SNR）在CIF格式時優(yōu)于JM8.6+FGS方法達2.45dB，且與目標比特率更為匹配；也比新近提出的JVT-N020提案，在平均Y-PSNR上有0.15dB的增益，而且圖</p><p>　　H.264/AVC支持SP（同步預(yù)測）幀，允許不同質(zhì)量比特流之間的高效切換，MPEG-4支持FGS編碼。本文提出一種將兩者融合在一起的解決方案，在JM聯(lián)合模型中實現(xiàn)了流切換的功能，并且加入FGS編碼，使得傳輸?shù)谋忍亓骷饶苓m

7、應(yīng)因特網(wǎng)或無線網(wǎng)傳輸帶寬的大跨度波動，又能靈活適應(yīng)小范圍的帶寬變化。仿真實驗結(jié)果表明：本文所提出方案的亮度Y分量峰值信噪比比FGS平均好0.47dB，比流切換方法平均好0.23dB。且在專為移動業(yè)務(wù)而設(shè)計的H.264/AVC擴展類上，在3GPP/3GPP2無線視頻通用測試條件下，本文所提出方案的性能比單一的FGS平均好0.76dB，比單一的流切換方法平均好0.51dB。</p><p>　　關(guān)鍵詞：H.264，A

8、VC，MPEG-2，傳輸流，網(wǎng)絡(luò)抽象層，可伸縮編碼，實時編碼，流切換，視頻傳輸，精細可伸縮編碼，碼率控制，空間可分級，時間可分級，信噪比可伸縮</p><p>　　本項研究受國家自然科學基金重點項目(60332030)和國家自然科學基金項目（60372091）的資助。</p><p><b>　　ABSTRACT</b></p><p>　　H

9、.264/AVC is a new video codec standard accepted by ITU-T and ISO, which adopts many advanced technologies and develops them in video codec since recent years, and becomes famous for its higher coding efficiency and bette

10、r network friendlyship than others. Based on the motion-compensated hybrid coding scheme originated from previous video codec standards, H.264/AVC has other important differences as follows: the enhanced motion predictio

11、n capability; accurate matching for small block-size tranfo</p><p>　　With the increasingly extensive applications for the new emerging video coding standard, H.264/AVC, it becomes more and more important tha

12、t we transport H.264/AVC video stream over MPEG-2 system by exploiting all the existing large amount of the infrastructure of MPEG-2 systems. We propose a solution for it. The key technologies are as follows: Firstly we

13、use an H.264/AVC video as an elementary stream of MPEG-2 system, then extend the Transport stream-System Target Decoder(T-STD) of MPEG-2 stand</p><p>　　After the algorithms optimization and multi-media instr

14、uction-set optimization for the H.264 encoder, the FGS (Fine-Granular Scalability) based on bit-plane coding is extended to realize a real-time SNR fine-granular scalable coding based on PC platform, and the frame rate c

15、an be 30 fps and over for the video with CIF format. Moreover, to enable transmission of H.264/AVC bit-stream over IP and wireless heterogeneous networks with randomly variable bandwidth, another scheme of hybrid spatial

16、/temp</p><p>　　SP (Synchronization-Predictive) frame, which enables high efficiency of switching between two bitstreams with different qualities, is supported by H.264/AVC. And FGS video coding is supported

17、by MPEG-4. This paper proposes a solution for combination between these two tools, and the Joint Model has been extended to support Stream Switching and FGS coding is added into it so as to adapt to high bandwidth variat

18、ions of Internet or Wireless networks and to low bandwidth variations flexibly for trans</p><p>　　Keywords: H.264, AVC, MPEG-2, transport stream, network abstraction layer, scalable coding, real-time encodin

19、g, stream switching, video transmission, fine-granular scalability, rate control, spatial scalability, temporal scalability, SNR scalability</p><p><b>　　目 錄</b></p><p><b>　　摘 要

20、I</b></p><p>　　ABSTRACTIII</p><p><b>　　目 錄V</b></p><p>　　縮 略 語VIII</p><p><b>　　第一章 緒論1</b></p><p><b>　　1.1 引言1&

21、lt;/b></p><p>　　1.2 H.264/AVC應(yīng)用概述6</p><p>　　1.2.1 NAL簡介7</p><p>　　1.2.1.1 NAL單元8</p><p>　　1.2.1.2 使用字節(jié)流格式的NAL單元8</p><p>　　1.2.1.3 使用包格式的NAL單元8

22、</p><p>　　1.2.1.4 VCL的NAL單元和非-VCL的NAL單元9</p><p>　　1.2.1.5 參數(shù)集9</p><p>　　1.2.1.6 訪問單元9</p><p>　　1.2.1.7 編碼視頻序列10</p><p>　　1.2.2 類別及其應(yīng)用簡介10</p&g

23、t;<p>　　1.2.2.1 類（Profile）和級（Level）10</p><p>　　1.2.2.2 各個類的應(yīng)用領(lǐng)域13</p><p>　　1.3 本文的結(jié)構(gòu)與創(chuàng)新點13</p><p>　　1.3.1 本文主要研究內(nèi)容及結(jié)構(gòu)安排13</p><p>　　1.3.2 本文的創(chuàng)新點14</p

24、><p>　　第二章 H.264/AVC基于IP和無線網(wǎng)絡(luò)應(yīng)用的基礎(chǔ)15</p><p>　　2.1 H.264/AVC在IP環(huán)境中應(yīng)用的基礎(chǔ)知識15</p><p>　　2.1.1 IP上的視頻傳輸15</p><p>　　2.1.1.1 不同應(yīng)用業(yè)務(wù)的特點15</p><p>　　2.1.1.2 IP

25、多媒體傳輸協(xié)議17</p><p>　　2.1.2 RTP打包24</p><p>　　2.1.2.1 H.264的NAL單元概念25</p><p>　　2.1.2.2 打包設(shè)計的約束條件25</p><p>　　2.1.2.3 簡單的打包26</p><p>　　2.1.2.4 NALU分段2

26、6</p><p>　　2.1.2.5 NALU合并26</p><p>　　2.2 H.264/AVC在無線環(huán)境中應(yīng)用的基礎(chǔ)知識27</p><p>　　2.2.1 移動網(wǎng)絡(luò)視頻的應(yīng)用和約束27</p><p>　　2.2.2 無線系統(tǒng)中H.264/AVC傳輸29</p><p>　　2.2.3 用

27、于無線視頻的通用測試條件30</p><p>　　2.3 小結(jié)31</p><p>　　第三章 H.264視頻流在MPEG-2系統(tǒng)層上流傳輸33</p><p>　　3.1 MPEG-2系統(tǒng)層標準33</p><p>　　3.2 H.264視頻流Over MPEG-2系統(tǒng)層傳輸34</p><p>　

28、　3.2.1 H.264/AVC Over MPEG-2流視頻方案35</p><p>　　3.2.1.1 系統(tǒng)框圖35</p><p>　　3.2.1.2 約束條件36</p><p>　　3.2.1.3 T-STD模型擴展36</p><p>　　3.2.1.4 DPBn 緩存器管理37</p><

29、p>　　3.2.2 仿真實驗38</p><p>　　3.2.2.1 實驗方案39</p><p>　　3.2.2.2 軟件平臺39</p><p>　　3.2.2.3 實驗結(jié)果40</p><p>　　3.3 小結(jié)41</p><p>　　第四章 基于H.264的FGS改進方案及碼率控制策

30、略42</p><p>　　4.1 可伸縮編碼概述42</p><p>　　4.1.1 四種可伸縮方法[97]43</p><p>　　4.1.1.1 質(zhì)量可分級性43</p><p>　　4.1.1.2 空間可分級性45</p><p>　　4.1.1.3 時間可分級性47</p>

31、<p>　　4.1.1.4 頻率可分級性47</p><p>　　4.1.1.5 基本方案的組合47</p><p>　　4.1.1.6 精細粒度可伸縮性48</p><p>　　4.1.2 現(xiàn)有的FGS的改進方法50</p><p>　　4.2 H.264 FGS分析及其改進：基于PC平臺的實時FGS編碼50

32、</p><p>　　4.2.1 基于H.264的FGS編碼分析51</p><p>　　4.2.2 基于H.264的FGS解碼分析53</p><p>　　4.2.3 自適應(yīng)量化54</p><p>　　4.2.4 基于PC平臺的實時FGS編碼器56</p><p>　　4.2.4.1 基于簡化RD

33、O的編碼器優(yōu)化56</p><p>　　4.2.4.2 多媒體指令集優(yōu)化57</p><p>　　4.2.4.3 實時FGS編碼步驟58</p><p>　　4.2.4.4 性能測試與比較60</p><p>　　4.3 可擴大伸縮范圍的空時分級SNR-FGS編碼方法62</p><p>　　4.3.

34、1 基于H.264的混合FGS編碼的原理和流程63</p><p>　　4.3.2 QP值的精細化選擇65</p><p>　　4.4 碼率控制策略66</p><p>　　4.4.1 基本層碼率控制66</p><p>　　4.4.2 增強層碼率控制68</p><p>　　4.5 實驗結(jié)果6

35、9</p><p>　　4.5.1 與JM8.6+FGS方法的比較69</p><p>　　4.5.2 與JVT-N020的比較72</p><p>　　4.6 小結(jié)73</p><p>　　第五章 基于H.264-SS與FGS結(jié)合的可伸縮自適應(yīng)選擇方法75</p><p>　　5.1 流切換（SS）

36、的概念和特性75</p><p>　　5.2 流切換的應(yīng)用場合和SP/SI幀的編解碼方法78</p><p>　　5.2.1 SP/SI幀的應(yīng)用場合78</p><p>　　5.2.1.1 拼接和隨機訪問78</p><p>　　5.2.1.2 誤碼復(fù)原79</p><p>　　5.2.1.3 誤碼

37、彈性80</p><p>　　5.2.1.4 視頻冗余編碼方法80</p><p>　　5.2.2 SP/SI幀的編解碼方法81</p><p>　　5.2.2.1 主SP幀和SI幀編碼過程81</p><p>　　5.2.2.2 次級SP幀的編碼過程82</p><p>　　5.2.2.3 主SP

38、幀的解碼過程83</p><p>　　5.2.2.4 次級SP幀和SI幀的解碼過程84</p><p>　　5.3 基于H.264 FGS的流切換及其自適應(yīng)選擇算法84</p><p>　　5.4 仿真實驗88</p><p>　　5.4.1 直通信道下FGS和流切換結(jié)合的實驗結(jié)果88</p><p>

39、;　　5.4.2 無線環(huán)境下的可伸縮比特流流切換的實驗結(jié)果92</p><p>　　5.5 小結(jié)97</p><p>　　第六章 總結(jié)與展望98</p><p><b>　　參考文獻100</b></p><p>　　作者在攻讀博士學位期間的成果112</p><p><b&

40、gt;　　致 謝114</b></p><p><b>　　縮 略 語</b></p><p><b>　　第一章 緒論</b></p><p><b>　　1.1 引言</b></p><p>　　H.264標準保留了現(xiàn)有標準的共有特點，同時又具有以下一些現(xiàn)

41、有標準不同的新特點：(1) 節(jié)省比特率。與H.263v2 (H.263 + ) 或M PEG-4 簡單類相比，H.264實現(xiàn)平均節(jié)省比特率近50%；(2) 高質(zhì)量的視頻。H.264在多種比特率條件下都能提供高質(zhì)量的視頻，包括低比特率；(3) 自適應(yīng)延遲。H.264可工作在低延遲模式以適應(yīng)實時通信應(yīng)用（如視頻會議），同時在其他應(yīng)用中也允許大的處理延遲（如視頻存儲、基于服務(wù)器的視頻流應(yīng)用）；(4) 錯誤校正。H.264提供必要的工具來處理網(wǎng)

42、絡(luò)中數(shù)據(jù)包的丟失和無線網(wǎng)絡(luò)中的比特錯誤；(5) 網(wǎng)絡(luò)友好性。H.264的一個新特點是視頻編碼層（VCL）和網(wǎng)絡(luò)抽象層（NAL ）的分離，這使數(shù)據(jù)易于打包和更好地進行數(shù)據(jù)優(yōu)先權(quán)控制，VCL 對視頻圖象進行高質(zhì)量壓縮，NAL 對壓縮數(shù)據(jù)進行打包，使其在特定網(wǎng)絡(luò)上傳輸。</p><p>　　H.264網(wǎng)絡(luò)抽象層（NAL）正式定義了視頻編/解碼器和外部網(wǎng)絡(luò)之間基于IP包的接口，以便將視頻編碼層（VCL）視頻流進行協(xié)議封裝

43、后，通過NAL無縫集成到傳輸層。解碼時NAL對VCL的承載過程相反。NAL層的引入將編碼與信道隔離，大大提高了H.264適應(yīng)復(fù)雜信道的能力，對現(xiàn)有或未來的各種不同網(wǎng)絡(luò)都有很強的網(wǎng)絡(luò)友好性。</p><p>　　隨著計算機網(wǎng)絡(luò)和多媒體技術(shù)的飛速發(fā)展，在IP網(wǎng)絡(luò)上傳輸實時多媒體數(shù)據(jù)(如聲音和視頻)的應(yīng)用越來越多。這種傳輸音頻和視頻的實時(Real－time)程序可以容忍一定程度的丟包，但必須要求能夠及時地傳輸，即對傳

44、輸實時性的要求遠高于傳輸可靠性。然而，現(xiàn)時的IP互聯(lián)網(wǎng)絡(luò)并不是等時性( Isochronous)系統(tǒng)，發(fā)送的數(shù)據(jù)包可以被復(fù)制、延遲或不按順序到達，且抖動(Jitter)現(xiàn)象尤其普遍，這就會嚴重影響網(wǎng)絡(luò)服務(wù)質(zhì)量(QoS)，使多媒體傳輸?shù)膶崟r性不復(fù)存在。因此，為了允許在IP網(wǎng)絡(luò)上有意義地傳輸和再現(xiàn)多媒體數(shù)字信號，需要額外的協(xié)議支持。</p><p>　　為了解決上述問題，互聯(lián)網(wǎng)技術(shù)工作組( Internet Engi

45、neering Task Force, IETF)陸續(xù)提出了一系列新的協(xié)議，如RTP/RTCP、RSVP和RTSP等，通過它們協(xié)同工作，在很大程度上可滿足實時數(shù)據(jù)的傳輸要求[1]。</p><p>　　MPEG-2系統(tǒng)標準定義了傳輸流格式來傳送壓縮的視音頻節(jié)目數(shù)據(jù)。傳輸流適于在容易發(fā)生錯誤的環(huán)境下傳送數(shù)據(jù)，對于例如衛(wèi)星信道、數(shù)字電視地面廣播、IP網(wǎng)絡(luò)等應(yīng)用環(huán)境，其錯誤表現(xiàn)為數(shù)據(jù)位的出錯和傳輸流分組的丟失。為了便于

46、在網(wǎng)絡(luò)上傳輸，節(jié)省帶寬，流傳輸系統(tǒng)可以考慮使用高效的H.264編解碼標準對原始輸入視頻進行壓縮編碼，并組成傳輸流。傳送流在IP網(wǎng)上傳輸，為保證可靠性，緊接著需對數(shù)據(jù)打包成RTP數(shù)據(jù)包，然后利用UDP協(xié)議將其封裝成UDP包，隨后系統(tǒng)將數(shù)據(jù)交給IP層，在IP層中打成IP包后發(fā)送到網(wǎng)絡(luò)上進行傳輸?？蛻舳耸盏捷d有視頻信息的IP數(shù)據(jù)包后，將它解包后交給UDP層，在UDP層去掉UDP包頭，解出RTP信息，依次類推，直到將TS流送至H.264解碼器進

47、行解壓縮，然后在終端進行顯示。RTP/UDP/IP不是獨立的，其中也發(fā)送和接收RTCP分組，并通過和RTCP反饋控制模塊的交互來完成對流量的調(diào)整和丟包的統(tǒng)計。</p><p>　　在互聯(lián)網(wǎng)上傳輸視頻流需要解決的一個基本問題是網(wǎng)絡(luò)帶寬的波動[2]，不僅是不同的人在不同的時刻用不同的終端設(shè)備，甚至是同一個人在同一個時刻，哪怕是在傳輸同一個視頻流，從互聯(lián)網(wǎng)所得到的數(shù)據(jù)傳輸率存在著很大的差異。傳統(tǒng)的編碼方法生成的視頻流很

48、難適應(yīng)如此復(fù)雜的網(wǎng)絡(luò)帶寬的波動，以往處理這個問題有兩種方法：碼流轉(zhuǎn)換（transcoding）[3],[4]和聯(lián)播（simulcast）[5],[6]。碼流轉(zhuǎn)換是先由編碼器生成一個高碼率的碼流，在傳輸前再根據(jù)網(wǎng)絡(luò)的帶寬將碼流轉(zhuǎn)換到一個匹配的碼率，這種方法首先會增加視頻服務(wù)器的負擔，其次將碼流從高碼率轉(zhuǎn)換到低碼率也會造成額外的視頻質(zhì)量損失。聯(lián)播方法是生成多個不同碼率的碼流，在傳輸時根據(jù)網(wǎng)絡(luò)的帶寬選擇一個合適碼率的碼流，這種方法很難實現(xiàn)傳輸

49、過程中任意碼流的動態(tài)切換，碼率的變化也被局限在幾個特定的碼率中，不能充分利用信道的容量。在互聯(lián)網(wǎng)上傳輸視頻流的另外一個問題是數(shù)據(jù)包的丟失，在編碼過程中為了提高編碼效率，視頻流的每一個比特都有極其嚴格的定義，不用說丟失一個數(shù)據(jù)包，哪怕是一個數(shù)據(jù)位的錯誤都會造成大量的視頻流不可解碼，從而降低了解碼圖像的視覺質(zhì)量，并且這種錯誤還</p><p>　　FGS編碼[10] 已納入MPEG－4標準，其基本層采用現(xiàn)有的運動補償

50、DCT 變換編碼，這種基本層的編碼也可用于如MPEG－2 和H.264等其它的標準中。 通?；緦拥拇a率較低，因而基本層的量化步長可較大?；緦拥牧炕`差通過比特平面編碼技術(shù)形成增強層碼流，采用比特平面編碼技術(shù)的好處是它能提供一個非常精細的可伸縮碼流。即使在較低的增強層，其編碼效率也比變長編碼方法高。從FGS 編碼結(jié)構(gòu)可以看出，基本層和所有的增強層都是用前一幀的重構(gòu)基本層為參考， 因此如果在傳輸過程中增強層碼流出現(xiàn)丟失和錯誤，只需要丟掉

51、這一幀后面的增強層碼流即可，在隨后的一幀依然可以得到完好的圖像質(zhì)量，增強層碼流的丟失和錯誤不會產(chǎn)生嚴重的視覺影響和誤差累積。但從編碼的角度講，F(xiàn)GS 方法的編碼效率是比較低的，因為它總是用最低質(zhì)量基本層的重構(gòu)層作為運動補償?shù)膮⒖?，因而運動補償?shù)男Ч捅容^差，從而降低了整個編碼方案的效率，與非可伸縮性編碼方法相比，伸縮性編碼方法的編碼效率會降低2.0dB 以上。為此，[11],[12]提出了漸進FGS（PFGS）編碼，其基本思路是在編碼增

52、強層時也用一些高質(zhì)量的增強層作為參考，由于增強層重</p><p>　　PFGS 比M PEG－4的FGS 編碼能提高編碼效率約1dB，但仍明顯低于非可伸縮性編碼方法。且其所生成的碼流通過Internet 或無線等易發(fā)生錯誤信道傳輸時還有許多問題需要解決。例如如果在增強層碼流出現(xiàn)數(shù)據(jù)丟失和錯誤，該幀后面的碼流都不可解，只能繼續(xù)解碼后面的一幀。應(yīng)該在PFGS的增強層編碼時加入一些簡單的錯誤檢測和再同步工具，來減少傳

53、輸錯誤的影響。此外，PFGS仍如FGS那樣，總是假設(shè)基本層能得到很好的保護，但是在網(wǎng)絡(luò)帶寬動態(tài)變化時，這樣的假設(shè)不一定成立，這就要進一步研究如何隨信道的狀態(tài)給基本層和增強層動態(tài)地分配碼率。隨著新一代視頻編碼H.264標準的確立，H.264的可伸縮編碼方案也成為人們研究的熱點。</p><p>　　為了在網(wǎng)絡(luò)帶寬和延時/緩存的限制下獲得持續(xù)好的視頻質(zhì)量，碼率控制已成為視頻編碼的關(guān)鍵技術(shù)。由于目前各種視頻編碼國際標準

54、只對編碼后比特流的語法和解碼器作了規(guī)定，沒有對碼率控制策略進行明確界定，所以不少學者和機構(gòu)都提出了各自的碼率控制策略，目前較為流行的碼率控制算法有MPEG-2 TM5[13]、H.263 TMN8[14]、MPEG-4 VM8[15]。碼率控制包括兩個部分：一是合理分配比特；二是如何通過調(diào)整參數(shù)實現(xiàn)所分配的比特。對于前者，MPEG-2 TM5的方法是為每一個圖像組（Group of Picture, GOP）分配固定的比特數(shù)，再將GOP

55、之內(nèi)的比特數(shù)分配給各幀、各宏塊，隨后的不少方案也延續(xù)了這種思想。對于后者，文獻[14]提出了用Lagrange方法優(yōu)化率失真模型的碼率控制算法，但是該算法的復(fù)雜度大；文獻[16]提出一種比較簡單的線性模型，發(fā)現(xiàn)在視頻編碼系數(shù)變換量化后非零值個數(shù)與編碼碼率之間存在線性關(guān)系，但是此種模型需要對系數(shù)變換進行處理；文獻[15]提出了二次量化模型，該模型形式相對簡單，也最接近實際R-Q（Rate-Quantization）關(guān)系且不用對系數(shù)變換，因

56、此</p><p>　　由于H.264的編碼標準中模式選擇的復(fù)雜性，使其對于碼率控制也增加了困難。這是因為H.264采用了R-D優(yōu)化模式判別，宏塊的編碼模式與量化參數(shù)的選取有關(guān)。為了進行宏塊的編碼模式判別，必須先給出一個量化級，然而為了控制碼率，量化級的計算一般要根據(jù)編碼模式判別后的幀內(nèi)預(yù)測或幀間運動估計殘差來決定。JVT-G012[17] 提案給出的碼率控制方法是將一幀劃分為若干基本單元，在R-D模式判別前對當

57、前基本單元的MAD進行線性預(yù)測，并運用MPEG-4中使用的二次R-Q模型計算量化級，用此量化級進行模式選擇和編碼。</p><p>　　H.264的參考軟件JM8.6中采用的是JVT-H014[18]提案中的碼率控制算法。該算法采用了分層碼率控制的方法，共三層：GOP層碼率控制、幀層碼率控制、基本單元層碼率控制。GOP層的目標比特與TM5相同，采用固定比特；幀層的目標比特則由網(wǎng)絡(luò)帶寬、緩存占用量、緩存大小以及剩余

58、共同決定；基本單元層的目標比特是基于平均絕對差值（Mean Absolute Difference, MAD）進行分配的。由于采用了率失真優(yōu)化（Rate Distortion Optimization, RDO），只有在RDO操作后才能計算出實際MAD。所以計算基本單元層目標比特時，MAD只能使用預(yù)測值。所采用的是線性模型預(yù)測，每處理完一個基本單元要對模型的參數(shù)進行更新操作，故這種方法在預(yù)測MAD時運算開銷較大。</p>

59、<p>　　某些快速碼率控制方法常通過在宏塊層改變量化精度來實現(xiàn)，也可以使用空間/時間分級編碼方法來控制碼流變化。例如，在MPEG-4中采用精細可分級（FGS：Fine Granular Scalability）編碼，H.263+中定義了時域分級、空域分級和信噪比（SNR）分級三種分級能力。但是這些分級方法的效率較低，因此目前也越來越多地使用流切換（SS：Stream Switching）技術(shù)來代替分級編碼。H.264中定義了

60、兩種新的幀編碼類型，即通過SP和SI條帶來完成不同流之間的切換，以避免頻繁刷新Intra幀帶來的效率下降。這種在同一個原始視頻序列的不同編碼速率的碼流之間作切換、在切換點插入SP條帶的方法比插入I條帶能節(jié)省大量的比特。除了可以實現(xiàn)碼流高效切換之外，SP條帶還提供隨機訪問以及類似VCR的功能。</p><p>　　SP/SI幀[19-21]支持自適應(yīng)的大范圍碼率調(diào)整，可以實現(xiàn)不同傳輸速率和圖象質(zhì)量間的切換，從而最大

61、限度地利用現(xiàn)有資源而不至于因缺少參考幀而引起解碼錯誤。SP幀編碼的基本原理類似于P幀，仍然是基于幀間預(yù)測的運動補償預(yù)測編碼，但它能夠在使用不同參考幀的情況下重構(gòu)相同的圖像幀。利用這一特性可以實現(xiàn)碼流的隨機切換功能，即SP幀可以在流間切換（Bitstream Switching）、拼接（Splicing）、隨機訪問（Random Access）、快進/快退和錯誤恢復(fù)等應(yīng)用中取代I幀。SI幀與SP幀相對應(yīng)，所利用的是基于幀內(nèi)預(yù)測的編碼技術(shù)。

62、SP幀的缺點是存儲的流數(shù)目越多，則消耗的服務(wù)器資源越大，但可以和FGS結(jié)合使用，取長補短。</p><p>　　受無線帶寬資源和傳輸能力的限制，目前的用戶多是按流量支付費用的方式使用無線網(wǎng)絡(luò)的數(shù)據(jù)服務(wù)，故提高壓縮效率應(yīng)是無線視頻和多媒體應(yīng)用的主要目標。而移動手持設(shè)備受處理器速度和存儲容量的限制，因此，視頻編碼的設(shè)計必須兼顧編碼效率和處理復(fù)雜度，這也是目前將H.264引入到用于移動視頻通信系統(tǒng)中需研究的問題之一。&

63、lt;/p><p>　　1.2 H.264/AVC應(yīng)用概述</p><p>　　H.264/AVC是ITU-T視頻編碼專家組和ISO/IEC運動圖像專家組制訂的最新視頻編碼標準，其主要目標是：增強壓縮性能，提供一種網(wǎng)絡(luò)友好的視頻表示，包括會話的應(yīng)用（視頻電話）、以及非會話的應(yīng)用（存儲、廣播、或者流）[22]。與現(xiàn)有的標準相比，H.264/AVC除了在編碼效率和率失真性能等方面有重大改進外，還

64、新增了大量設(shè)計，使得在不同的網(wǎng)絡(luò)環(huán)境下對于數(shù)據(jù)誤碼/丟包更具魯棒性，在操作上也更靈活。其突出的特性可歸納如下：</p><p>　　參數(shù)集結(jié)構(gòu)：參數(shù)集設(shè)計提供用于穩(wěn)健高效地傳輸頭部信息。此前的標準中，若傳輸中丟失少數(shù)核心比特時將會影響正確的解碼；而在H.264/AVC設(shè)計中，這類核心信息被分隔開來，并作更靈活、更專門的處理。</p><p>　　NAL單元語法結(jié)構(gòu)：H.264/AVC中每一

65、個語法結(jié)構(gòu)都放置在一個稱為“NAL單元”的邏輯數(shù)據(jù)包中。NAL單元語法結(jié)構(gòu)不規(guī)定系統(tǒng)的特定比特流接口（而以前的視頻編碼標準則規(guī)定了系統(tǒng)的特定比特流接口），從而允許為每一個專有網(wǎng)絡(luò)量身定制地給出適合傳輸視頻內(nèi)容的方法。</p><p>　　靈活的條帶尺寸：MPEG-2中的條帶結(jié)構(gòu)是固定的，并且因為增加了頭部數(shù)據(jù)的數(shù)量、降低了預(yù)測的有效性，從而降低了編碼效率；而H.264/AVC中的條帶尺寸如早先的MPEG-1那樣是

66、高度靈活變化的。</p><p>　　靈活的宏塊排序（FMO）：該功能把圖像分隔成多個區(qū)域――即所謂的“條帶組”；每一個條帶成為一個條帶組的一個獨立可解碼的子集。當有效運用FMO時，能夠顯著地增強數(shù)據(jù)丟失的魯棒性。</p><p>　　任意條帶排序（ASO）：若使一幀編碼圖像的每一個條帶都能（近似）獨立于該圖像的其它條帶解碼，就能以任意順序發(fā)送、接收圖像的所有條帶。這可改進實時應(yīng)用中的端對

67、端延遲，尤其對于無序發(fā)送網(wǎng)絡(luò)（例如：IP網(wǎng)絡(luò)）所起作用更大。</p><p>　　冗余圖像：該功能是為了增強數(shù)據(jù)丟失的魯棒性而設(shè)計的，允許編碼器發(fā)送圖像區(qū)域的冗余表示，以便為那些在數(shù)據(jù)傳輸期間丟失的原始數(shù)據(jù)提供質(zhì)量稍低的圖像表示。</p><p>　　數(shù)據(jù)分割：因為用于每一個區(qū)域表示的某些編碼信息（例如：運動矢量、以及其它預(yù)測信息）對于視頻內(nèi)容表示來說更為重要、或者說比其它信息更有價值，所

68、以H.264/AVC允許每一個條帶的語法可以分割成3個不同的分區(qū)傳輸，具體要依據(jù)語法元素的分類來確定分區(qū)的數(shù)目。</p><p>　　SP/SI (Synchronization-Predictive frame/Sychronization-Intra frame)同步預(yù)測/同步幀內(nèi)預(yù)測：SP幀的編碼效率盡管略低于P幀，但卻遠遠高于I幀，而且其提供的功能是P幀所不具有的，盡管使用不同的參考幀仍然可以得到同等的重

69、建圖像質(zhì)量。有了SP/SI幀之后，H.264在網(wǎng)絡(luò)友好性方面有了很大改進，支持靈活的流媒體服務(wù)，且具有很強的抗誤碼性能，以適應(yīng)在噪聲干擾大、丟包率高的無線信道中傳輸。</p><p>　　H.264/AVC分為VCL（視頻編碼層）和NAL（網(wǎng)絡(luò)抽象層）。對于前者已研究得很多，本文著重于NAL。</p><p>　　1.2.1 NAL簡介</p><p>　　NAL

70、設(shè)計的目標是：提供網(wǎng)絡(luò)友好的性能，使得各類系統(tǒng)能更簡單、有效地使用VCL?；蛘哒f，通過NAL可將VCL數(shù)據(jù)更方便地映射到如下各種類型的傳輸層，例如：</p><p>　　便于用于任意類型的實時Internet業(yè)務(wù)和實時無線IP業(yè)務(wù)（會話和流）的RTP/IP傳輸。</p><p>　　便于形成文件格式，例如用于存儲ISO MP4（符合ISO標準的帶有AAC音頻的MPEG-4流）和MMS（多媒

71、體消息業(yè)務(wù)）。</p><p>　　用于有線會話業(yè)務(wù)和無線會話業(yè)務(wù)的H.32X。</p><p>　　用于廣播業(yè)務(wù)的MPEG-2系統(tǒng)，等等。</p><p>　　使視頻內(nèi)容完全適合于每種特殊應(yīng)用的需求――這雖不在H.264/AVC標準的研究范圍之內(nèi)，但是NAL的設(shè)計已預(yù)先考慮了各種映射關(guān)系。NAL的一些核心概念包括：NAL單元、字節(jié)流、NAL單元的包格式、參數(shù)集、訪

72、問單元等。下面簡要描述這些概念，詳細的描述可參見[23],[24]。</p><p>　　1.2.1.1 NAL單元</p><p>　　編碼的視頻數(shù)據(jù)組織成NAL單元，每一個NAL單元是一個包含有效整數(shù)個字節(jié)的包。其第一個字節(jié)是頭部字節(jié)，它包含了NAL單元中數(shù)據(jù)類型的指示。余下的字節(jié)包含了有效負載數(shù)據(jù)。</p><p>　　NAL單元中的有效負載數(shù)據(jù)中必須交織插

73、入防止競爭的字節(jié)，這些防止競爭的字節(jié)當中插入了某個特定值，以防止在有效負載中偶然生成稱為“起始碼前綴”的某一類特殊數(shù)據(jù)圖樣。</p><p>　　在面向包或面向比特流的傳輸系統(tǒng)中，NAL單元結(jié)構(gòu)定義了某一格式。由編碼器生成的一系列NAL單元被稱為一個NAL單元流。</p><p>　　1.2.1.2 使用字節(jié)流格式的NAL單元</p><p>　　某些系統(tǒng)（例如H

74、.320以及MPEG-2/H.222.0系統(tǒng)）需要傳輸整個NAL單元比特流、或者部分NAL單元比特流。這樣，這些NAL單元比特流可以作為一組排序的字節(jié)流或者比特流。在這些字節(jié)流或者比特流中，NAL單元邊界的位置必須能夠從已編碼數(shù)據(jù)本身內(nèi)部的圖樣來辨識。</p><p>　　為了應(yīng)用在這些系統(tǒng)中，H.264/AVC規(guī)范定義了一種字節(jié)流格式。在這種字節(jié)流格式中，每一個NAL單元的前綴是一種3個字節(jié)的特殊圖樣――稱為“

75、起始碼前綴”。通過搜索已編碼數(shù)據(jù)中獨特的起始碼前綴，就可以辨識NAL單元的邊界。使用前述的防止競爭的字節(jié)，能夠保證起始碼前綴是一個新的NAL單元的開始的唯一標識。</p><p>　　如果系統(tǒng)提供的是沒有對齊到字節(jié)邊界的比特流，也可以加入少量的附加數(shù)據(jù)（每一幀視頻圖像加入一個字節(jié)），使得系統(tǒng)中運行的解碼器能獲得數(shù)據(jù)恢復(fù)所必要的字節(jié)對齊的流。</p><p>　　1.2.1.3 使用包格式

76、的NAL單元</p><p>　　在例如IP/RTP等系統(tǒng)中，編碼數(shù)據(jù)是打包傳輸?shù)?，系統(tǒng)傳輸協(xié)議規(guī)定了打包的幀結(jié)構(gòu)；在包內(nèi)部就可以識別NAL單元的邊界，不需要應(yīng)用起始碼前綴模式。因此，在使用數(shù)據(jù)包傳輸?shù)腘AL單元沒有起始碼前綴。</p><p>　　1.2.1.4 VCL的NAL單元和非-VCL的NAL單元</p><p>　　NAL單元被分為兩類：一類是VCL的

77、NAL單元，另一類是非-VCL的NAL單元。VCL－NAL單元包含視頻殘差編碼的數(shù)據(jù)，對其解碼后能重建視頻圖像；非-VCL的NAL單元包含了相關(guān)的附加信息，如參數(shù)集（重要的頭部數(shù)據(jù)）和輔助增強信息（定時信息、以及其它輔助數(shù)據(jù)）。</p><p>　　1.2.1.5 參數(shù)集</p><p>　　參數(shù)集包含VCL－NAL單元解碼所必須參考的語法元素，主要有序列參數(shù)集和圖像參數(shù)集。這些參數(shù)若在

78、傳輸中出錯或丟失，會直接影響其它NAL單元的解碼。</p><p>　　采用序列參數(shù)集和圖像參數(shù)集機制，可使不常變化的信息與不斷變化的視頻圖像中采樣值的編碼表示分離傳輸。每一個VCL－NAL單元包含了一個標志符，該標志符指出相關(guān)圖像參考集的內(nèi)容；每一個圖像參考集包含一個標志符，指出相關(guān)的序列參考集的內(nèi)容。這種方式，以少量的數(shù)據(jù)（標志符）來指明大量信息（參數(shù)集），而不需要在每一個VCL－NAL單元中重復(fù)該類信息。&

79、lt;/p><p>　　序列參數(shù)集和圖像參數(shù)集，都可在用到這些參數(shù)集的VCL－NAL單元之前發(fā)送，且能重復(fù)發(fā)送從而增強抗數(shù)據(jù)丟失的魯棒性。在某些應(yīng)用中，參數(shù)集可以在傳輸VCL－NAL單元的信道中發(fā)送，即帶內(nèi)傳輸，而在另一些應(yīng)用中，可用一種比視頻信道自身更可靠的傳輸機制發(fā)送，即帶外傳輸[25]。帶外傳輸（out-of-band）使用與媒體數(shù)據(jù)傳輸信道不同的更加可靠的邏輯通道或流控制協(xié)議將參數(shù)集從編碼器傳輸?shù)浇獯a器。帶內(nèi)

80、傳輸（in-band）使用與媒體數(shù)據(jù)傳輸信道相同的邏輯通道或流控制協(xié)議來傳輸參數(shù)集，不過在應(yīng)用層采用合適的保護機制（如傳送參數(shù)集的多個拷貝）確保參數(shù)集信息可靠、及時地到達解碼器端。</p><p>　　1.2.1.6 訪問單元</p><p>　　一組特定格式的NAL單元就是一個訪問單元。每個訪問單元的解碼產(chǎn)生一個解碼圖像。每個訪問單元包含一組VCL－NAL單元，一起組成一個初始編碼圖像

81、。也可在前面加上一個訪問單元分隔符，這樣可以幫助定位訪問單元的起始位置。某些輔助增強信息包含了一些數(shù)據(jù)（如定時信息），這些輔助增強信息也可位于初始編碼圖像之前。</p><p>　　初始編碼圖像中的VCL－NAL單元是由多個條帶或者多個條帶數(shù)據(jù)分區(qū)組成；這些條帶或者條帶數(shù)據(jù)分區(qū)表示視頻圖像的樣值。</p><p>　　緊跟著初始編碼圖像的可以是一些附加的VCL－NAL單元，這些附加的VCL

82、-NAL單元包含了相同視頻圖像區(qū)域的冗余表示。這些冗余編碼圖像，當初始編碼圖像中的數(shù)據(jù)有丟失或者損壞時可以被解碼器用來恢復(fù)重建圖像。如果數(shù)據(jù)完好，解碼器不需要解碼冗余編碼圖像。</p><p>　　最后，如果編碼圖像是一個編碼視頻序列的最后一幀圖像的話，需要加上序列結(jié)束NAL單元，用來指示序列的結(jié)束；如果編碼圖像是整個NAL單元流的最后一幀編碼圖像的話，需要加上流結(jié)束NAL單元，用來指示流的結(jié)束。</p&g

83、t;<p>　　1.2.1.7 編碼視頻序列</p><p>　　一個編碼視頻序列由一系列訪問單元組成，這些訪問單元在NAL單元流中是順序排列的、而且只用到了一個序列參數(shù)集。若給定帶內(nèi)或者帶外傳輸參數(shù)集信息，每一個編碼視頻序列能夠獨立于任意其它編碼視頻序列而解碼。在編碼視頻序列的開始是一個瞬時解碼刷新（IDR）訪問單元，它包含了可獨立解碼的I幀；若存在IDR訪問單元，則說明這個流中隨后的圖像不需要

84、參考這個流中該I幀之前的圖像就可解碼。</p><p>　　一個NAL單元流可能包含一個或者多個編碼視頻序列。</p><p>　　1.2.2 類別及其應(yīng)用簡介</p><p>　　1.2.2.1 類（Profile）和級（Level）</p><p>　　在H.264/AVC中，定義了3個類，即：基線類（Baseline Profile

85、）、主類（Main Profile）、擴展類（Extended Profile）。在H.264保精度擴展（Fidelity Range Extension）增補部分又提出了一些新的類，支持每一個樣本多于8比特編碼，還支持另外的色度格式。表1.1給出在基線類、主類和擴展類中包含的一些工具。</p><p>　　表1.1 H.264視頻編碼標準中的三種類所支持的編碼工具</p><p>　　

86、類和級規(guī)定了一致性方面的內(nèi)容，這種一致性被設(shè)計用來在H.264標準的不同應(yīng)用（這些不同應(yīng)用有相似的功能需求）之間方便地互操作。一個類定義了一系列的編碼工具或者算法，能夠用于產(chǎn)生符合標準的比特流。一個級限制了比特流中的某些核心參數(shù)如圖像分辨率、比特率、緩沖區(qū)需求等。</p><p>　　符合某一類的所有解碼器，都必須支持該類的所有特性。編碼器不需要支持該類的所有性質(zhì)，但是卻必須提供符合該類的比特流，即：編碼比特流能

87、夠被符合該類的解碼器解碼。</p><p>　　基線類支持H.264/AVC中除去以下兩組附加特征之外的所有特性：</p><p>　　第1組：B條帶，加權(quán)預(yù)測，CABAC，場編碼，圖像或者宏塊在幀編碼和場編碼之間自適應(yīng)切換。</p><p>　　第2組：SP/SI條帶，條帶數(shù)據(jù)分割。</p><p>　　主類支持附加特性的第1組，卻不支持基

88、線類支持的FMO、ASO、以及冗余圖像特性。主類中的CABAC（上下文－自適應(yīng)二進制算術(shù)編碼）可使熵編碼的效率進一步提高[26],[27]。一方面，算術(shù)編碼的使用，允許把非整數(shù)個數(shù)的比特分配給一個符號集中的每一個符號；對于符號概率大于0.5的情況，這種規(guī)定就會帶來極大的好處。另一方面，自適應(yīng)編碼的使用，允許調(diào)整那些非平穩(wěn)的符號統(tǒng)計特性。CABAC的另外一個重要特性是它的上下文建模。那些已編碼的語法元素的統(tǒng)計特性，用于估計條件概率。這些條

89、件概率用于在幾種被估計的概率模型之間切換。在H.264/AVC中，算術(shù)編碼的核心引擎、以及與它相關(guān)的概率估計，是沒有乘法的低復(fù)雜度方法，只需要使用移位運算和表查詢。與CAVLC相比，CABAC的比特率可下降5%～15%。當編碼隔行電視信號時，可獲得更高的增益。</p><p>　　表1.2 H.264視頻編碼標準中三個類的特征和可能的應(yīng)用領(lǐng)域</p><p>　　擴展類支持基線類的所有特

90、征，還支持前述的兩組特征（除去CABAC之外）。在序列參數(shù)集中使用的標志，用來指示何種類的解碼器可以解碼已編碼視頻序列。</p><p>　　在H.264/AVC中，各個類都含有若干個級。共定義了15個級，每個級指定了圖像尺寸（以宏塊為單位）的上限，從QCIF一直到4k x 2k（視頻比特率從64kbps到240Mbps）。還定義了多圖像緩存器和視頻緩存器尺寸。</p><p>　　1.2

91、.2.2 各個類的應(yīng)用領(lǐng)域</p><p>　　表1.2小結(jié)了上述三個類的特征和可能的應(yīng)用領(lǐng)域。</p><p>　　1.3 本文的結(jié)構(gòu)與創(chuàng)新點</p><p>　　1.3.1 本文主要研究內(nèi)容及結(jié)構(gòu)安排</p><p>　　本文在分析H.264/AVC在IP及無線環(huán)境下的應(yīng)用的基礎(chǔ)上，研究H.264視頻的流傳輸。由于H.264/AVC

92、在編碼效率上遠高于以前的MPEG-2等標準，研究如何以H.264取代MPEG-2中的視頻編碼，并把H.264視頻流作為基本流打包成傳輸流（TS）使之可在MPEG-2系統(tǒng)層上傳輸。但本文的重點放在如何使H.264視頻流能適應(yīng)Internet和無線3G網(wǎng)絡(luò)帶寬劇烈變化時的應(yīng)用，因此研究將H.264擴展至精細粒度可伸縮編碼（FGS），并與H.264中的流切換（SS）相結(jié)合，以及相應(yīng)的碼率控制策略。</p><p>　　

93、本文余下的各章安排如下：第二章分析H.264/AVC視頻流在IP和3G無線網(wǎng)絡(luò)傳輸中的相關(guān)技術(shù)，是后續(xù)三章的基礎(chǔ)；第三章給出一種H.264/AVC Over MPEG-2系統(tǒng)層上流傳輸?shù)姆桨福坏谒恼聦崿F(xiàn)了基于PC平臺的實時FGS編碼，并且提出一種基于H.264/AVC的混合時間可分級/空間可分級/SNR FGS及其碼率控制方案；第五章進一步提出一種把流切換與FGS相結(jié)合的方法，以適應(yīng)帶寬劇變和小范圍波動等不同變化范圍時的應(yīng)用；第六章對本

94、文作了總結(jié)，并指出了本文的研究尚需進一步完善的后續(xù)工作。</p><p>　　1.3.2 本文的創(chuàng)新點</p><p>　　本文的貢獻和創(chuàng)新點可歸納如下：</p><p>　　提出一種將H.264/AVC視頻流復(fù)用在MPEG-2系統(tǒng)層上傳輸?shù)姆桨?，該方案僅需擴充系統(tǒng)目標解碼器（STD），并將其參數(shù)映射到假說性參考解碼器，具有復(fù)雜度低的特點。</p>

95、<p>　　在H.264算法優(yōu)化和多媒體指令集優(yōu)化的基礎(chǔ)上實現(xiàn)了基于PC平臺的實時FGS編解碼。并提出了一種可將H.264/AVC碼流進一步擴展至混合空域/時域可分級的SNR FGS方案，具有可伸縮范圍更大、更靈活、也更適合用于帶寬隨機變化的IP和無線等異構(gòu)網(wǎng)絡(luò)中傳輸?shù)奶攸c。</p><p>　　在混合時/空可分級方案中，時間可分級不用通常的時間下取樣，而通過對每一個空間層都進行運動補償時間分解過程獲得

96、，具有使時間可伸縮性范圍大、更精細的特點。且提出一種根據(jù)率失真優(yōu)化選擇QP的同時，對增強層作逐次精細化的碼率控制方法。</p><p>　　為進一步適應(yīng)Internet和無線3G網(wǎng)絡(luò)帶寬的劇烈變化，提出一種流切換（SS）與FGS編碼相結(jié)合的自適應(yīng)選擇算法，使之既能適應(yīng)小范圍帶寬的精細變化，又能滿足大跨度的帶寬變化。</p><p>　　第二章 H.264/AVC基于IP和無線網(wǎng)絡(luò)應(yīng)用的基

97、礎(chǔ)</p><p>　　2.1 H.264/AVC在IP環(huán)境中應(yīng)用的基礎(chǔ)知識</p><p>　　H.264是ITU-T的新的、非后向兼容的視頻壓縮推薦標準，它的性能顯著超過了所有以前的視頻壓縮標準。H.264由視頻編碼層（VCL）和網(wǎng)絡(luò)抽象層（NAL）組成。VCL執(zhí)行視頻編碼的任務(wù)、生成包含編碼宏塊的比特字符串。NAL調(diào)整這些比特字符串，使之以一種網(wǎng)絡(luò)友好的方式傳輸[34]。下面描述H

98、.264編碼視頻流在以RTP作為實時傳輸協(xié)議的IP網(wǎng)絡(luò)上的傳輸。</p><p>　　2.1.1 IP上的視頻傳輸</p><p>　　本小節(jié)討論基于IP的H.264編解碼可能會應(yīng)用到的環(huán)境。在闡述了基于IP的視頻的核心應(yīng)用的技術(shù)特性之后，介紹當前采用的協(xié)議基礎(chǔ)體系結(jié)構(gòu)及其特性。</p><p>　　2.1.1.1 不同應(yīng)用業(yè)務(wù)的特點</p>&l

99、t;p>　　在討論IP上的視頻傳輸之前，有必要更仔細地回顧一下相關(guān)的應(yīng)用。這些應(yīng)用的性質(zhì)決定了約束條件和協(xié)議環(huán)境；而約束條件和協(xié)議環(huán)境都是視頻信源編碼必須處理的。</p><p>　　以IP作為傳輸介質(zhì)，主要有會話業(yè)務(wù)、消息下載和流視頻三類不同應(yīng)用。</p><p>　　會話業(yè)務(wù)，例如視頻電話和視頻會議。其應(yīng)用特點是延遲約束非常嚴格――遠小于1秒的端到端等待時間，力求小于100ms（

100、迄今尚未達到）。這些應(yīng)用也被限制為點到點、或者點到多點傳輸。要求實時視頻編碼和解碼，允許實時調(diào)整編碼參數(shù)，包括自適應(yīng)地誤碼－復(fù)原，或基于反饋的信源編碼。因需實時編碼，也就限制了計算復(fù)雜度。</p><p>　　預(yù)編碼視頻流的下載。此處比特字符串被當做一個整體進行傳輸（應(yīng)用可靠的協(xié)議如ftp[35-38]或者http[39],[40]）。要求視頻編碼器通過優(yōu)化盡可能提高編碼效率，但不一定受延遲和誤碼復(fù)原的限制。由于

101、不要求實時視頻編碼，對編碼器的計算復(fù)雜度限制也就不太重要。</p><p>　　基于IP的流視頻。此種應(yīng)用場合對延遲特性的要求界于下載應(yīng)用和會話應(yīng)用之間。對于術(shù)語“流”沒有通用的可接受的定義。大多數(shù)人把它和一種傳輸業(yè)務(wù)關(guān)聯(lián)起來；這種傳輸業(yè)務(wù)允許在整個視頻流被傳輸完之前開始視頻回放，只是有幾秒鐘的初始延遲，可以以近似實時的方式工作。視頻流通常是預(yù)先編碼、按需傳輸?shù)模谐^一種表示方式，并且有不同的比特率――從一

102、個或者多個多播信道發(fā)送到大量的用戶[41],[42]。因為有相對于會話業(yè)務(wù)更加寬松的延遲約束，就能夠應(yīng)用一些高延遲的視頻編碼工具（如雙向預(yù)測條帶）。然而，在通常條件下，流業(yè)務(wù)應(yīng)用了不可靠的傳輸協(xié)議，這樣就必須在信源和/或者信道編碼中進行誤碼控制[43]，使誤碼復(fù)原調(diào)整到大多數(shù)用戶能夠接受的一個程度。流視頻的發(fā)送可以是點到點或到多點方式、甚至是廣播方式發(fā)布[44]。</p><p>　　IP網(wǎng)絡(luò)當前有三種方式：無管

103、理的IP網(wǎng)絡(luò)（Internet是這種方式的最突出的例子）、有管理的IP網(wǎng)絡(luò)（如廣域網(wǎng)）以及基于第3代移動網(wǎng)絡(luò)的無線IP網(wǎng)絡(luò)[23]。這三種網(wǎng)絡(luò)對于MTU（最大傳輸單元）尺寸、傳輸包中的比特誤碼的概率、以及遵守傳輸控制協(xié)議（TCP）的流量范例稍有不同。</p><p>　　最大傳輸單元尺寸。MTU尺寸是在傳輸層和網(wǎng)絡(luò)層上不需要分割/重新組合就可以傳輸?shù)囊粋€包的最大尺寸。一般說來，建議保持編碼條帶的尺寸盡可能地接近M

104、TU尺寸，但是永遠不要超過MTU尺寸，因為這樣可以：（A）優(yōu)化有效負載/頭部開銷的關(guān)系；（B）使一個被分割的編碼條帶的丟包概率最??；丟包的原因包括：由于網(wǎng)絡(luò)層/傳輸層上的一個片段的丟失造成的丟包、以及由此而造成的丟棄從屬于有問題編碼條帶的所有其它片段（根據(jù)網(wǎng)絡(luò)層/傳輸層協(xié)議）。在兩個IP節(jié)點之間的一條傳輸路徑的端到端的MTU尺寸是非常難于辨別的，同時這個MTU尺寸在一次連接中也可能動態(tài)地發(fā)生變化。一般，對于有線IP鏈路的MTU尺寸是大約

105、1500字節(jié)（因為一個以太網(wǎng)的包的最大尺寸就是這么大）。而在無線環(huán)境中，MTU尺寸僅約100字節(jié)。</p><p>　　比特誤碼。有線網(wǎng)絡(luò)的比特誤碼概率可以認為忽略不計，而無線網(wǎng)絡(luò)的比特誤碼率往往很高。</p><p>　　碼率控制和TCP流量范例。自從1980年代后期Internet大爆炸以來，傳輸協(xié)議TCP[45],[46]（用于攜帶大多數(shù)Internet內(nèi)容，例如電子郵件和網(wǎng)絡(luò)流量）

106、一直遵守著所謂的TCP流量范例[47]。一旦TCP流量范例觀察到丟包率在某一個閾值之上，發(fā)送器就決定減少發(fā)送比特率到原來的一半（作為TCP緩存器尺寸的調(diào)整結(jié)果）。一旦丟包率降低到閾值以下（加上某些遲滯），發(fā)送器也許會再次緩慢增加其發(fā)送比特率，直到丟包率再次到達閾值。這個簡單的、但是卻有效的管理機制防止了路由器的過載，確保了所有發(fā)送器之間的合理的公平比較。在無線網(wǎng)絡(luò)中，由于鏈路層協(xié)議的缺陷而造成的包丟失則更加嚴重。</p>