一個流量抽樣系統(tǒng)的設計與實現(xiàn).pdf

1、如今互聯(lián)網(wǎng)飛速發(fā)展，網(wǎng)絡流量大增，對pv（頁面瀏覽量page view，下稱pv）、uv（用戶瀏覽量user view，下稱uv）的分析對一個互聯(lián)網(wǎng)企業(yè)顯得尤為重要。百度圖片搜索部的產(chǎn)品幾乎都是用戶型產(chǎn)品，也就是以用戶需求為導向的互聯(lián)網(wǎng)產(chǎn)品。產(chǎn)品上線之前決策者需要根據(jù)各種指標來做出決策。而原先在前端判斷cookie的方式已經(jīng)不能滿足復雜及頻繁的抽樣實驗業(yè)務需求。研究建設一個新型的、整合的對龐大流量的抽樣切分和管理平臺已經(jīng)成為百度圖片當前

2、所關心的重要課題。
　　流量抽樣管理系統(tǒng)主要由兩大部分組成，分別是抽樣平臺部分和抽樣Lib部分。抽樣平臺部分主要負責抽樣流程的發(fā)起以及實驗規(guī)則的設定，即通過一些規(guī)則，如用戶IP、cookie、檢索詞等信息進行配置，最后生成規(guī)則配置文件的過程。抽樣Lib進行流量的切分，根據(jù)抽樣平臺的配置文件將符合規(guī)則的用戶引入目標服務器。結合系統(tǒng)的需求，在抽樣平臺部分，前端采用ReactJS技術構建前端UI，后端采用php的Yaf（Yet Anot

3、hter Framework，下稱Yaf）框架及Web數(shù)據(jù)庫技術進行后臺邏輯實現(xiàn)和數(shù)據(jù)存儲。為了確保系統(tǒng)后續(xù)可以具有良好的可擴展性和可維護性，對系統(tǒng)結構及功能進行設計和劃分，形成了抽樣流程管理、流量分配管理、變量配置管理、抽樣規(guī)則管理、抽樣配置打包等五個功能模塊進行系統(tǒng)支撐。在抽樣Lib部分，使用了基于hash的多層流量切分的方式，將符合規(guī)則的用戶匹配到相應的服務器中。為保證系統(tǒng)的完整性，結合系統(tǒng)性能和訪問安全性等因素對系統(tǒng)數(shù)據(jù)邏輯進行