基于Web數(shù)據(jù)挖掘的面向領(lǐng)域高性能信息檢索研究.pdf

1、隨著Internet／Web技術(shù)的快速普及和迅猛發(fā)展，WWW上的信息量不斷增加，如何在這些信息中找到用戶真正需要的內(nèi)容，成為數(shù)據(jù)組織和Web相關(guān)領(lǐng)域?qū)＜覍W(xué)者關(guān)注的焦點。由于，因特網(wǎng)信息使用技術(shù)的發(fā)展往往跟不上因特網(wǎng)信息的增長，搜索引擎可以為人們查找與關(guān)鍵詞相關(guān)的文檔，但返回的結(jié)果往往是文檔數(shù)量太多而命中率不高。傳統(tǒng)搜索引擎技術(shù)滿足了人們一定的需要，但由于其通用的性質(zhì)，仍然不能滿足不同背景、不同目的和不同時期的用戶個性化的需求。基于Web

2、挖掘的高性能信息檢索就是針對這個問題而提出來的。研究的目標(biāo)在于充分利用用戶的個性化信息，通過用戶興趣制導(dǎo)或豐富查詢模式等靈活手段來采集Web信息，充分利用網(wǎng)絡(luò)信息，從而提高查詢的準(zhǔn)確度，提高了檢索質(zhì)量，并滿足用戶的特定查詢需求。 本文首先對Web挖掘技術(shù)和搜索引擎技術(shù)進行了分析，同時對其工作原理和數(shù)據(jù)挖掘中的聚類分析技術(shù)進行了較為深入的分析。由于高性能的個性化信息檢索的前提是挖掘用戶的訪問特點并對用戶進行分類，用戶的訪問行為是存

3、放在Web日志中，Web日志數(shù)據(jù)需要進行預(yù)處理，才能用于用戶興趣的挖掘。因此論文深入討論頁面過濾和用戶訪問路徑等問題，使Web日志預(yù)處理工作更加完善。本文通過深入研究檢索系統(tǒng)如何更快速抓取更多高質(zhì)量網(wǎng)頁，如何進行網(wǎng)頁文檔索引，如何為用戶提供高性能的檢索服務(wù)后，重點圍繞檢索效率和檢索效果這兩個最基本的指標(biāo)，從索引創(chuàng)建和檢索過程詳細(xì)分析高效檢索系統(tǒng)的相關(guān)基本實現(xiàn)技術(shù)。在此基礎(chǔ)上提出根據(jù)Web頁面網(wǎng)頁所在的位置，挖掘出網(wǎng)頁在網(wǎng)站中的層次類別信