基于Hadoop的實(shí)時(shí)流媒體分布式處理研究.pdf

1、隨著三網(wǎng)融合的逐步推進(jìn)，廣播電視網(wǎng)、計(jì)算機(jī)通信網(wǎng)、電信網(wǎng)絡(luò)中涌現(xiàn)出越來(lái)越多的媒體數(shù)據(jù)。這些媒體數(shù)據(jù)的處理不僅需要大量的計(jì)算資源，而且在處理時(shí)間上也有嚴(yán)格的要求，所以如何保證實(shí)時(shí)流媒體的服務(wù)質(zhì)量始終是重要的研究課題。
　　 提高單機(jī)多處理器并行能力的傳統(tǒng)方法，雖然可以在一定程度上提高實(shí)時(shí)流媒體的處理速度，但限于硬件約束，始終存在能力瓶頸。分布式并行處理可以解決單機(jī)瓶頸的問(wèn)題，是當(dāng)前的研究熱點(diǎn)，但需要考慮負(fù)載均衡、任務(wù)分配以及分布式

2、編程等工作，計(jì)算過(guò)程更為復(fù)雜。實(shí)時(shí)流媒體的分布式處理技術(shù)尚不成熟，當(dāng)前的研究較多針對(duì)實(shí)時(shí)流媒體的分塊及任務(wù)順序調(diào)配，而在任務(wù)調(diào)度和負(fù)載均衡等方面的研究成果并不多見(jiàn)。
　　 本文面向?qū)崟r(shí)流媒體進(jìn)行分布式處理，基于當(dāng)前流行的開(kāi)源架構(gòu)Hadoop系統(tǒng)開(kāi)展任務(wù)調(diào)度和負(fù)載均衡算法的研究。本文設(shè)計(jì)了流媒體的編碼和轉(zhuǎn)碼的架構(gòu)以及提出了編轉(zhuǎn)碼架構(gòu)的三層處理模型，針對(duì)三層架構(gòu)首先研究了可以適配不同終端的H.264 SVC(Scalable Vid

3、eo Coding)編碼格式流媒體的編碼和轉(zhuǎn)碼方法，為了使得SVC的編轉(zhuǎn)碼方法能夠進(jìn)行分布式處理，本文將SVC的編轉(zhuǎn)碼進(jìn)行了分布式移植，實(shí)現(xiàn)了SVC編轉(zhuǎn)碼的map reduce編程模型，使得SVC的編轉(zhuǎn)碼方法能夠在Hadoop上分布式執(zhí)行。然后本文將當(dāng)前Hadoop使用的負(fù)載和調(diào)度算法進(jìn)行了對(duì)比分析和研究，并對(duì)負(fù)載和調(diào)度方案進(jìn)行了改進(jìn)，設(shè)計(jì)使用了基于堆的動(dòng)態(tài)閾值混合負(fù)載均衡算法和基于用戶優(yōu)先級(jí)的DF(DeadlineFirst)調(diào)度策略

4、。另外本文提出了流媒體數(shù)據(jù)塊的分塊封裝方法，以配合設(shè)計(jì)的負(fù)載和調(diào)度策略。本文最后進(jìn)行了實(shí)驗(yàn)的驗(yàn)證，為了驗(yàn)證改進(jìn)Hadoop對(duì)實(shí)時(shí)流媒體處理的有效性，本文在任務(wù)平均處理時(shí)長(zhǎng)和滿意度兩方面進(jìn)行了實(shí)驗(yàn)對(duì)比，實(shí)驗(yàn)結(jié)果顯示在任務(wù)平均處理時(shí)長(zhǎng)和滿意度量方面改進(jìn)Hadoop與原Hadoop比較都更優(yōu)，從而驗(yàn)證了本文提出的方案的有效性。
　　 本文的成果，驗(yàn)證了設(shè)計(jì)的改進(jìn)方法滿足了實(shí)時(shí)流媒體的實(shí)時(shí)性、并發(fā)性和處理速度等方面的要求，使得采用分布式