基于混合模式的文本過濾系統(tǒng)的研究.pdf

1、人類社會(huì)已經(jīng)進(jìn)入信息化時(shí)代，面對(duì)因特網(wǎng)上大規(guī)模的在線文本信息，如何幫助用戶快速、準(zhǔn)確的找到自己感興趣的文本信息成為一個(gè)重要的研究課題。文本過濾可以幫助用戶獲得自己感興趣的文本，實(shí)現(xiàn)個(gè)性化的信息服務(wù)，因此，文本過濾的研究具有廣泛的應(yīng)用背景和實(shí)用價(jià)值。 文本過濾從形式上可以分為兩種，即：內(nèi)容過濾和協(xié)作過濾。內(nèi)容過濾主要采用自然語言處理、人工智能、概率統(tǒng)計(jì)等技術(shù)對(duì)文本進(jìn)行內(nèi)容分析，然后與用戶模型進(jìn)行相似度計(jì)算，主動(dòng)將相似度高的文本發(fā)送

2、給該用戶模型的注冊(cè)用戶，但是內(nèi)容過濾難以區(qū)分同一主題過濾結(jié)果的內(nèi)容質(zhì)量好壞，不能為用戶發(fā)現(xiàn)新的感興趣的信息。另外一種方法，協(xié)作過濾主要利用興趣相似用戶的評(píng)價(jià)進(jìn)行預(yù)測和推薦。目前它已經(jīng)被成功的應(yīng)用到個(gè)性化推薦系統(tǒng)中，但隨著系統(tǒng)規(guī)模的擴(kuò)大，它的性能會(huì)逐漸降低，暴露出一些問題，比如矩陣稀疏性、擴(kuò)展性以及早期級(jí)別等問題。 本文首先對(duì)文本過濾的兩種方法進(jìn)行了描述，然后分別對(duì)這兩種過濾方法進(jìn)行了研究。針對(duì)內(nèi)容過濾，我們重點(diǎn)討論了內(nèi)容過濾的學(xué)

3、習(xí)機(jī)制，把在線文本信息過濾表示為強(qiáng)化學(xué)習(xí)問題，這樣可以通過計(jì)算用戶的隱性反饋?zhàn)詣?dòng)獲取強(qiáng)化信號(hào)，然后設(shè)計(jì)一個(gè)自適應(yīng)信息過濾系統(tǒng)，通過實(shí)驗(yàn)證實(shí)可以明顯的改善自適應(yīng)過濾系統(tǒng)的功能，提高了內(nèi)容過濾系統(tǒng)的性能。在協(xié)作過濾中，針對(duì)其存在的缺點(diǎn)，提出了一種用戶—信息項(xiàng)關(guān)聯(lián)模型，利用該模型，有效的提高了協(xié)作過濾系統(tǒng)的推薦值的準(zhǔn)確性，一定稱度上解決了協(xié)作過濾中存在的問題，并通過實(shí)驗(yàn)，證明利用該模型可使協(xié)作過濾系統(tǒng)的性能得到了提高。最后，我們將內(nèi)容過濾與協(xié)

4、作過濾結(jié)合起來，提出了基于混合模式的文本過濾系統(tǒng)，由于這兩種過濾技術(shù)之間不存在內(nèi)在的依賴性，因此我們讓內(nèi)容過濾和協(xié)作過濾分開執(zhí)行，然后把這兩個(gè)過濾的預(yù)測值結(jié)合起來進(jìn)行推薦，即所謂的基于混合模式的文本信息過濾。 我們通過實(shí)驗(yàn)，分別對(duì)內(nèi)容過濾、協(xié)作過濾以及基于這兩種過濾方法的混合模式進(jìn)行實(shí)驗(yàn)，對(duì)這三種過濾方法的得到的過濾結(jié)果的準(zhǔn)確性進(jìn)行了比較，結(jié)果表明混合模式方法可以提高文本過濾系統(tǒng)的準(zhǔn)確性。最后，指出了本文存在的問題，以及今后要繼