面向大規(guī)模流量的音視頻資源在線溯源關(guān)鍵技術(shù)研究.pdf

1、網(wǎng)絡(luò)作為一個(gè)開(kāi)放式的平臺(tái)，有一系列的讓用戶可以分享資源給他人的服務(wù)，網(wǎng)盤、資源共享網(wǎng)站等一鍵下載資源服務(wù)由于其操作簡(jiǎn)單、下載速度快等特點(diǎn)成為音視頻資源最主要的分享途徑，同時(shí)這類服務(wù)稱為 CLS服務(wù)。如何從骨干網(wǎng)節(jié)點(diǎn)海量的網(wǎng)絡(luò)流量中獲取下載CLS音視頻資源HTTP會(huì)話的分享鏈接對(duì)于骨干網(wǎng)流量的網(wǎng)絡(luò)審查、網(wǎng)絡(luò)取證、網(wǎng)絡(luò)流量監(jiān)控、視頻版權(quán)保護(hù)、復(fù)雜網(wǎng)路環(huán)境信息內(nèi)容唯一標(biāo)識(shí)、海量流量中的數(shù)據(jù)鏈接匯聚和關(guān)聯(lián)，提取網(wǎng)絡(luò)流對(duì)象等具有重要意義。

2、　　為此，本文研究了一種基于追蹤下載資源用戶cookie的在線溯源方法。該方法首先從骨干網(wǎng)節(jié)點(diǎn)的海量流量中識(shí)別出傳輸音視頻資源的HTTP會(huì)話并針對(duì)依次到達(dá)的資源數(shù)據(jù)包碎片使用累積哈希的方法計(jì)算資源的標(biāo)識(shí) ID；然后，根據(jù) HTTP話單的cookie相似度分析，利用倒排索引的方法攫取下載資源對(duì)應(yīng)的URL跳轉(zhuǎn)鏈；最后通過(guò)提取同一資源對(duì)應(yīng)的多個(gè)URL跳轉(zhuǎn)鏈的唯一公共節(jié)點(diǎn)實(shí)現(xiàn)最終的溯源。進(jìn)一步，本文實(shí)際開(kāi)發(fā)了一個(gè)針對(duì)骨干網(wǎng)節(jié)點(diǎn)流量的CLS音視頻

3、資源溯源系統(tǒng)—cookieTracking。該系統(tǒng)采用了分布式流量處理架構(gòu)，前端基于流量捕獲平臺(tái)獲取TCP流量，解析所需HTTP話單，識(shí)別下載資源HTTP會(huì)話計(jì)算其資源ID，并通過(guò)socket以及Google Protocol Buffer發(fā)送至后端的流量處理服務(wù)器；后端負(fù)責(zé)下載資源HTTP話單的溯源：首先，采用了Reactor模式的事件處理設(shè)計(jì)，主線程將前端發(fā)送的消息放入HTTP話單隊(duì)列，多個(gè)工作線程通過(guò)哈希表建立cookie項(xiàng)及l(fā)o

4、cation與HTTP會(huì)話的關(guān)聯(lián)；其次，溯源線程根據(jù)倒排索引的方法追蹤關(guān)鍵cookie進(jìn)而獲取URL跳轉(zhuǎn)鏈，入口頁(yè)面追溯線程通過(guò)合并同一資源對(duì)應(yīng)的多個(gè)URL跳轉(zhuǎn)鏈的唯一公共節(jié)點(diǎn)實(shí)現(xiàn)溯源。最后，通過(guò)爬蟲(chóng)程序訪問(wèn)該分享鏈接，比較前后下載資源的ID值驗(yàn)證系統(tǒng)溯源的正確性。此外，cookieTracking采用了前端數(shù)據(jù)包接受及發(fā)送的零拷貝技術(shù)、工作線程數(shù)目動(dòng)態(tài)調(diào)整機(jī)制、線程池機(jī)制優(yōu)化系統(tǒng)的性能。
　　實(shí)驗(yàn)結(jié)果顯示在平均帶寬為2Gpbs的