基于MapReduce的海量視頻轉(zhuǎn)碼系統(tǒng)優(yōu)化機(jī)制.pdf

1、隨著智能移動(dòng)終端的普及,移動(dòng)應(yīng)用變得越來(lái)越重要,視頻服務(wù)作為主要的娛樂(lè)工具將會(huì)在移動(dòng)應(yīng)用中發(fā)揮重要作用。移動(dòng)終端的異構(gòu)性以及視頻編碼格式的多樣性等導(dǎo)致終端對(duì)視頻的需求都不一樣,并且由于移動(dòng)網(wǎng)絡(luò)的易變性,同一終端在不同時(shí)刻對(duì)視頻的需求也不一樣。因此為了根據(jù)網(wǎng)絡(luò)狀況傳輸不同質(zhì)量層次的視頻文件,需要將視頻文件轉(zhuǎn)碼成不同分辨率碼率的多個(gè)文件,即需要對(duì)海量視頻進(jìn)行轉(zhuǎn)碼。由于視頻文件數(shù)據(jù)量大,轉(zhuǎn)碼又是耗時(shí)耗資源的一個(gè)過(guò)程,需要合理地分配計(jì)算資源和網(wǎng)

2、絡(luò)帶寬來(lái)提高資源利用率,降低轉(zhuǎn)碼時(shí)間。
　　基于MapReduce的海量視頻轉(zhuǎn)碼系統(tǒng)采用Hadoop對(duì)轉(zhuǎn)碼過(guò)程進(jìn)行并行加速,結(jié)合數(shù)據(jù)管理和數(shù)據(jù)本地化任務(wù)調(diào)度方式,減少數(shù)據(jù)在集群中的遷移。主要優(yōu)化方案為:
　　(1)在視頻接入時(shí)將各個(gè)視頻文件分散到轉(zhuǎn)碼節(jié)點(diǎn),并對(duì)轉(zhuǎn)碼過(guò)程進(jìn)行流水線(xiàn)式處理,合理分配計(jì)算資源和網(wǎng)絡(luò)帶寬;
　　(2)為減少視頻分片傳輸,在進(jìn)行任務(wù)調(diào)度的時(shí)候結(jié)合數(shù)據(jù)本地化特征,將數(shù)據(jù)在某節(jié)點(diǎn)上的任務(wù)保留在該節(jié)點(diǎn)中

3、;并對(duì)視頻分片元數(shù)據(jù)進(jìn)行管理,根據(jù)任務(wù)調(diào)度在集群中進(jìn)行分割、復(fù)制、排序等操作,在轉(zhuǎn)碼階段才根據(jù)元數(shù)據(jù)指示的文件分片名及位置傳輸視頻分片;
　　(3)為實(shí)現(xiàn)最大的系統(tǒng)利用率,對(duì)分片進(jìn)行不同粒度的分割,最后,結(jié)合遺傳算法和粒子群優(yōu)化算法對(duì)轉(zhuǎn)碼日志進(jìn)行分析,優(yōu)化節(jié)點(diǎn)的任務(wù)槽數(shù)目配置。
　　基于MapReduce的海量視頻轉(zhuǎn)碼數(shù)據(jù)管理與調(diào)度縮短了視頻文件的轉(zhuǎn)碼時(shí)間,提高了系統(tǒng)的吞吐量。性能測(cè)試表明,相對(duì)于現(xiàn)有的基于MapReduce