關(guān)于推薦系統(tǒng)的統(tǒng)計預(yù)測研究.pdf

1、隨著互聯(lián)網(wǎng)的普及以及電子商務(wù)的發(fā)展，網(wǎng)絡(luò)信息急劇膨脹，導(dǎo)致信息超載和信息迷航現(xiàn)象日益嚴(yán)重。在這種情況下，推薦系統(tǒng)作為一種有效的信息過濾手段應(yīng)運而生。推薦系統(tǒng)直接與用戶交互，模擬商家向用戶提供商品推薦服務(wù)，在海量的商品信息中發(fā)現(xiàn)用戶真正所需的商品。近年來，關(guān)于推薦系統(tǒng)的研究在理論上和實踐上取得巨大的進展，然而它依然面臨著一系列的挑戰(zhàn)，比如推薦準(zhǔn)確度、關(guān)系矩陣的稀疏性等[33]。協(xié)同過濾是推薦系統(tǒng)中最核心和應(yīng)用最為廣泛的技術(shù)之一?；趦?nèi)存的

2、協(xié)同過濾是協(xié)同過濾技術(shù)的重要分支通常被劃分為兩類：基于用戶的協(xié)同過濾和基于項目的協(xié)同過濾[1]。不論以上哪種協(xié)同過濾技術(shù)，其關(guān)鍵在于選取真正相似的鄰居集。本文對推薦系統(tǒng)的組成與體系結(jié)構(gòu)、核心的推薦技術(shù)以及評判準(zhǔn)則進行有益的探索和研究，主要的工作體現(xiàn)在以下三個方面：首先，理論分析與探討主要項目相似度的性質(zhì)，并揭示它們的應(yīng)用局限性。目前，協(xié)同過濾技術(shù)中常用的相似度主要有余弦相似度，皮爾遜相似度等[2][5]。我們首先理論上探討項目相似度的性

3、質(zhì)，并歸納為引理；然后根據(jù)引理分析它們的應(yīng)用局限性并揭示它們的統(tǒng)計本質(zhì)。其次，提出了兩種新的項目相似度：基于互信息的相似度和基于L1距離的相似度?；诨バ畔⒌南嗨贫仁墙⒃陧椖吭u分的概率模型之上將統(tǒng)計理論、信息度量[55]與協(xié)同過濾技術(shù)的具體實際相結(jié)合而得到的一種新的相似度衡量方式。一些相似度諸如余弦相似度、皮爾遜相似度等只衡量兩個對象之間的線性關(guān)系以及有些相似度只檢測單態(tài)的依賴關(guān)系，基于互信息的相似度既考慮線性的關(guān)系也考慮非線性的關(guān)系

4、[37]。因此，基于互信息的相似度粗粒度地考慮兩個對象之間的相互關(guān)系，它既可直接用于衡量兩個對象之間的項目關(guān)系又可被用于對數(shù)據(jù)集的初步的分類篩選?；贚1距離的相似度是將L1距離應(yīng)用到協(xié)同過濾技術(shù)中而得到的一種新的相似度衡量。它具有靈敏度高，計算簡單等優(yōu)點。最后，建造了一個基于分層思想的雙層協(xié)同過濾框架。本框架采用雙層的信息過濾來篩選真正相似的鄰居。第一層的信息過濾主要依靠基于互信息的相似度完成，第二層的信息過濾依靠其他的相似度完成，比