基于Web日志挖掘的智能信息檢索研究.pdf

1、互聯(lián)網(wǎng)時(shí)代的來(lái)臨，使得網(wǎng)絡(luò)用戶(hù)日志數(shù)據(jù)急劇增加，如何快速有效地獲取、管理和使用這些日志數(shù)據(jù)，己經(jīng)成為信息系統(tǒng)學(xué)科迫切需要解決的重要問(wèn)題。作為解決這些問(wèn)題的基本工具之一，近十幾年來(lái)Web數(shù)據(jù)挖掘技術(shù)研究得到了廣泛關(guān)注，獲得了長(zhǎng)足發(fā)展。
　　基于Web日志挖掘的智能信息檢索旨在通過(guò)對(duì)Web信息檢索的日志數(shù)據(jù)進(jìn)行有效的分析，挖掘隱藏在日志數(shù)據(jù)背后的用戶(hù)檢索知識(shí)和模式，應(yīng)用這些知識(shí)和模式對(duì)現(xiàn)有的檢索方法進(jìn)行改進(jìn)，達(dá)到智能化信息檢索的目的。

2、這個(gè)目標(biāo)基于這樣的假設(shè)：網(wǎng)絡(luò)查詢(xún)?nèi)罩局写_實(shí)蘊(yùn)含了用戶(hù)訪問(wèn)Web的某些規(guī)律性特性，這些特性反映在某些模式中，這些模式可以被挖掘出來(lái)并加以利用。本論文的研究以Sogou搜索引擎的用戶(hù)查詢(xún)?nèi)罩緸榛A(chǔ)，使用統(tǒng)計(jì)分析、文本挖掘、關(guān)聯(lián)分析、聚類(lèi)和統(tǒng)計(jì)語(yǔ)言建模等挖掘技術(shù)，獲得蘊(yùn)含在用戶(hù)日志中的有價(jià)值的知識(shí)，并針對(duì)所得到的知識(shí)在信息檢索的查詢(xún)擴(kuò)展、檢索推薦和用戶(hù)聚類(lèi)等關(guān)鍵技術(shù)領(lǐng)域的實(shí)踐應(yīng)用作了深入的研究。實(shí)驗(yàn)證明，Web日志挖掘技術(shù)能夠有效改善信息檢索

3、模型的性能。本文研究的主要內(nèi)容包括以下四個(gè)部分：
　　首先，對(duì)用戶(hù)查詢(xún)?nèi)罩局械臋z索規(guī)律展開(kāi)研究。用戶(hù)查詢(xún)?nèi)罩臼怯涗浘W(wǎng)絡(luò)搜索引擎用戶(hù)行為的重要載體，通過(guò)對(duì)日志文件的統(tǒng)計(jì)分析，以及挖掘發(fā)現(xiàn)這些信息間的相互關(guān)系，可以歸納和總結(jié)出用戶(hù)檢索的一般規(guī)律和特征。為了更好的理解用戶(hù)的檢索行為，本文對(duì)實(shí)際網(wǎng)絡(luò)日志進(jìn)行了實(shí)證性的規(guī)模統(tǒng)計(jì)分析，并且從查詢(xún)?cè)~、網(wǎng)頁(yè)點(diǎn)擊、用戶(hù)會(huì)話等角度方面對(duì)用戶(hù)行為進(jìn)行了詳細(xì)的分析，分析結(jié)果對(duì)于改進(jìn)搜索引擎的檢索算法和獲得

4、更準(zhǔn)確的檢索效果都有很好的指導(dǎo)意義。
　　其次，對(duì)基于關(guān)聯(lián)分析的自適應(yīng)查詢(xún)擴(kuò)展進(jìn)行研究。查詢(xún)擴(kuò)展可以有效的消除查詢(xún)歧義，提高信息檢索的準(zhǔn)確率和召回率。本文通過(guò)挖掘用戶(hù)日志中查詢(xún)?cè)~和相關(guān)文檔的連接關(guān)系，構(gòu)造關(guān)聯(lián)查詢(xún)，并提出了一種從關(guān)聯(lián)查詢(xún)中提取查詢(xún)擴(kuò)展詞的查詢(xún)擴(kuò)展方法。同時(shí)，提出了一種查詢(xún)歧義判別方法，該方法可以對(duì)查詢(xún)?cè)~所表達(dá)的檢索意圖的模糊程度進(jìn)行有效度量，也可以對(duì)查詢(xún)?cè)~的檢索性能進(jìn)行預(yù)先估計(jì)，本文使用查詢(xún)歧義判別來(lái)動(dòng)態(tài)調(diào)整擴(kuò)展詞

5、的長(zhǎng)度，提高了查詢(xún)擴(kuò)展模型的靈活性和適應(yīng)能力。
　　再次，對(duì)基于特征融合的檢索推薦展開(kāi)研究。基于查詢(xún)?nèi)罩就诰虻臋z索推薦系統(tǒng)可以有效地預(yù)測(cè)用戶(hù)在信息檢索過(guò)程中可能點(diǎn)擊的檢索結(jié)果，從而達(dá)到智能推薦的目的。針對(duì)目前已有的推薦系統(tǒng)缺乏有效的語(yǔ)義處理的問(wèn)題，本文利用詞語(yǔ)語(yǔ)義信息和統(tǒng)計(jì)語(yǔ)言模型相結(jié)合，提出了一種基于文檔相關(guān)度計(jì)算的檢索推薦模型。通過(guò)詞頻信息和知網(wǎng)（HowNet）中詞的概念計(jì)算模型計(jì)算網(wǎng)頁(yè)文檔間的主題相關(guān)度，再將該語(yǔ)義信息與統(tǒng)計(jì)

6、模型計(jì)算的條件概率值相融合，以此作為網(wǎng)頁(yè)推薦的依據(jù)，同時(shí)為了提高推薦模型的適用度，使用回退平滑和關(guān)聯(lián)查詢(xún)方法對(duì)模型進(jìn)行了修正。實(shí)驗(yàn)表明，這項(xiàng)技術(shù)使推薦系統(tǒng)的性能獲得了較大的提高。
　　最后，對(duì)面向檢索興趣的用戶(hù)聚類(lèi)進(jìn)行了研究。用戶(hù)聚類(lèi)是針對(duì)查詢(xún)?nèi)罩局械挠脩?hù)會(huì)話進(jìn)行分析，根據(jù)用戶(hù)的訪問(wèn)動(dòng)作，尋找行為模式或檢索興趣相似的用戶(hù)，將其分為一組。針對(duì)目前基于用戶(hù)會(huì)話計(jì)算用戶(hù)相似度的不足，本文提出了一種通過(guò)挖掘查詢(xún)關(guān)聯(lián)關(guān)系對(duì)用戶(hù)會(huì)話相似度計(jì)算