基于分布式計(jì)算模式的視頻處理框架設(shè)計(jì)及優(yōu)化.pdf

1、隨著智慧城市的快速發(fā)展，視頻技術(shù)作為基礎(chǔ)數(shù)據(jù)采集手段已經(jīng)被廣泛使用。這會(huì)引發(fā)一個(gè)問(wèn)題：?jiǎn)挝粫r(shí)間內(nèi)產(chǎn)生的視頻數(shù)據(jù)隨著時(shí)間的推移越來(lái)越多，傳統(tǒng)的海量視頻處理手段已經(jīng)不能滿足新形式下的現(xiàn)實(shí)需求,短時(shí)間內(nèi)生成的海量視頻數(shù)據(jù)無(wú)法快速處理從而嚴(yán)重影響數(shù)據(jù)時(shí)效性價(jià)值。
　　文中針對(duì)上述問(wèn)題提出一套基于分布式計(jì)算模式的視頻處理框架。該框架首先支持多客戶端同時(shí)上傳的視頻，然后提取其中出現(xiàn)的人臉，最終建立一個(gè)可以保存在內(nèi)存中的索引表進(jìn)行查詢加速。通過(guò)

2、處理客戶端上傳的含有待查人臉的圖像，該框架可以快速定位人臉在上傳的視頻中出現(xiàn)的位置。
　　文中研究?jī)?nèi)容通過(guò)以下三個(gè)方面介紹：
　　1、通過(guò)分析業(yè)務(wù)流程及實(shí)現(xiàn)過(guò)程中可能遇到的問(wèn)題，劃分功能模塊，并具體的闡述了各個(gè)模塊的作用。同時(shí)對(duì)涉及到的處理人臉的相關(guān)算法進(jìn)行調(diào)研，分析當(dāng)前已有種種實(shí)現(xiàn)的優(yōu)缺點(diǎn)，選定實(shí)現(xiàn)方案。
　　2、基于劃分的各個(gè)功能模塊，及所選擇實(shí)現(xiàn)該框架所用的軟件核心組件,詳細(xì)描述了實(shí)現(xiàn)該框架各部分的具體設(shè)計(jì)細(xì)節(jié)與

3、從整個(gè)集群的角度優(yōu)化集群的具體方法：1）數(shù)據(jù)存儲(chǔ)設(shè)計(jì)方法與設(shè)計(jì)原因。2）基于MapReduce思想進(jìn)行分布式任務(wù)設(shè)計(jì)。3）詳細(xì)分析集群運(yùn)行過(guò)程中可能造成框架性能降低的因素，并找到相應(yīng)的解決方案預(yù)防或者避免該情況的發(fā)生。最終集群在高負(fù)載的情況下也可穩(wěn)定運(yùn)行。
　　3、通過(guò)真實(shí)運(yùn)行測(cè)試用例得出該集群的性能。通過(guò)在200萬(wàn)人臉圖像數(shù)據(jù)中查找某一張具體的人臉，取多次查詢時(shí)間的平均值作為是集群的性能指標(biāo)。然后針對(duì)性的進(jìn)行調(diào)整優(yōu)化，最終平均查