面向流處理的廣告檢測系統(tǒng)實現(xiàn).pdf

1、隨著廣播電視尤其是交互式網(wǎng)絡(luò)電視(IPTV)的普及，給人們帶來更好的收視效果和更豐富的娛樂節(jié)目。與此同時，伴隨而來的商業(yè)廣告日益泛濫，嚴重影響了觀眾的視聽體驗。特別是近年來廣告數(shù)量呈爆炸性增長，傳統(tǒng)的人工審核方式已無法完成海量廣告的篩選工作，如何利用科技手段完成不良/非法廣告的在線檢測，成為了相關(guān)部門亟待解決的問題。
　　本課題源于國家863計劃《三網(wǎng)融合演進技術(shù)與系統(tǒng)研究》，該項目在突破了細粒度視頻數(shù)據(jù)特征分析等關(guān)鍵技術(shù)的基礎(chǔ)上

2、，形成了面向視頻廣告檢測的示范應(yīng)用系統(tǒng)。然而，隨著視頻廣告數(shù)量的急劇增加，現(xiàn)有采用集中式軟件計算架構(gòu)和串行計算處理模式的系統(tǒng)，已無法滿足視頻廣告檢測的實時性要求。
　　本課題針對現(xiàn)有系統(tǒng)存在的實時性不夠的問題，從系統(tǒng)軟件計算架構(gòu)角度出發(fā)，在分析研究現(xiàn)有典型批處理與流處理兩種分布式系統(tǒng)的基礎(chǔ)上，探索適合海量數(shù)據(jù)處理的新型計算架構(gòu)，主要創(chuàng)新點如下:
　　(1)由于系統(tǒng)核心算法采用串行計算模式，且廣告數(shù)量急劇擴張，導(dǎo)致現(xiàn)有系統(tǒng)實時

3、性已無法滿足實際應(yīng)用的需求。本文在深入分析影響廣告檢測系統(tǒng)實時性因素的基礎(chǔ)上，提出采用新型計算處理架構(gòu)的改進思路，使該架構(gòu)具有數(shù)據(jù)結(jié)構(gòu)改動小，并行處理能力強，系統(tǒng)響應(yīng)時間少等特點。
　　(2)研究了兩種主流分布式數(shù)據(jù)計算處理架構(gòu)，即Apache Hadoop為代表的批處理系統(tǒng)和Twitter Storm為代表的流處理系統(tǒng)，分別從集群組成、計算模型、生態(tài)系統(tǒng)等角度進行了分析，在系統(tǒng)的技術(shù)路線、計算時效、數(shù)據(jù)吞吐、系統(tǒng)靈活、容錯處理與

4、生態(tài)系統(tǒng)等方面進行了性能比較。
　　(3)構(gòu)建了面向流處理的軟件架構(gòu)，該架構(gòu)使用了以并行計算為特征的分布式處理模式，采用了基于內(nèi)存計算的分布式流處理技術(shù)，取代現(xiàn)有系統(tǒng)中以串行計算為特征的集中式處理模式，理論分析與測試結(jié)果表明，該架構(gòu)有效提升了系統(tǒng)實時性能。
　　(4)針對現(xiàn)有流處理系統(tǒng)無法實現(xiàn)離線數(shù)據(jù)深度分析挖掘的問題，本文提出了一種批處理與流處理相結(jié)合的新型數(shù)據(jù)處理架構(gòu)，該架構(gòu)具有統(tǒng)一的計算平臺、支持超大規(guī)模數(shù)據(jù)的實時計算