基于用戶分類的隱馬爾可夫WEB預(yù)取模型及應(yīng)用研究.pdf

1、Web預(yù)取技術(shù)是在分析用戶訪問的相關(guān)數(shù)據(jù)或行為的基礎(chǔ)上，主動預(yù)測其下一步可能瀏覽的頁面，通過隱性的請求加載，從而預(yù)先取得并存放在緩存中，以備用戶訪問，從而減少用戶訪問時因為網(wǎng)絡(luò)或服務(wù)器等各種可能問題造成的時延。
　　基于W eb訪問模式特性及預(yù)取與緩存的基本理論，本文在前人的基礎(chǔ)上充分發(fā)掘Web訪問過程中的規(guī)律和特性，采用概率統(tǒng)計、數(shù)學(xué)分析等方法，改進(jìn)了包括日志處理，特征詞提取，資源預(yù)測及資源緩存與替換等算法，建立了一套預(yù)取一體化

2、框架。
　　在預(yù)取一體化框架的研究中，主要工作包括：(1)在日志數(shù)據(jù)處理時對路徑的補(bǔ)充工作提出了描點法，用以補(bǔ)充日志記錄中的訪問路徑序列遺漏、缺失的信息，以還原一個完整合理的訪問行為，該算法簡單有效，易于實現(xiàn)；（2)在特征詞處理時對傳統(tǒng)的特征詞提取算法TF-IDF(Term Frequency-Inverse Document Frequency)進(jìn)行了改進(jìn)，提出了TF-IDF-CD(Term Frequency-Inverse

3、Document Frequency-Categorical Description)算法，該算法解決了傳統(tǒng)特征詞提取過程中對于類別區(qū)分能力較弱的問題；(3)資源預(yù)測過程是在原馬爾可夫預(yù)取模型的基礎(chǔ)上對用戶進(jìn)行分類，同時對用戶訪問路徑從語義的角度進(jìn)行分析，提取用戶信息需求，從而形成了基于用戶分類的隱馬爾可夫預(yù)取模型，該算法將基于訪問路徑和基于語義兩類算法思想相結(jié)合，以達(dá)到更好的預(yù)測準(zhǔn)確率。（4)在資源緩存與替換中，在GDS(Greedy

4、-Dual-Size)和GDSF(Greedy-Dual-Size-Frequency)算法的基礎(chǔ)上，引入時間頻度概念，提出了GDSF-T(Greedy-Dual-Size-Frequency-Time)算法，該算法彌補(bǔ)了時間因素對訪問頻度的影響。
　　最后，將該框架應(yīng)用于一個基于微信端的農(nóng)產(chǎn)品產(chǎn)銷平臺中，以針對此類移動平臺特有的帶寬低、延遲高、間歇性連通等網(wǎng)絡(luò)特點，達(dá)到降低訪問時延、優(yōu)化系統(tǒng)性能的目的，并通過實驗對系統(tǒng)引入預(yù)取框