基于近似網頁聚類算法的Web文本數據挖掘技術的研究與應用.pdf

1、隨著Internet信息量的飛速增長，數據挖掘技術的日益成熟及XML語言的崛起，Web數據挖掘技術迅速成為信息檢索領域的研究熱點。本文對Web數據挖掘技術、搜索引擎技術、XML語言、文本聚類技術作了系統(tǒng)的研究，介紹了其特點、原理、方法和研究現(xiàn)狀。如今Internet已經成為了人們獲取各種信息的主要來源，利用常用搜索引擎系統(tǒng)能夠獲得大量的相關信息，但是這些信息太多太亂，用戶難以迅速找到真正感興趣的網頁。對此，本文深入研究了如何對搜索引擎返

2、回的結果進行文本數據挖掘以獲得用戶感興趣的搜索模式。 本文從Internet用戶的興趣度出發(fā)，提出了一種基于近似網頁聚類算法的Web文本挖掘技術。該技術根據用戶的興趣程度形成詞匯庫；利用模糊聚類方法獲得分詞詞典組；在用戶利用常用搜索引擎系統(tǒng)進行信息檢索時，采用MD5算法消除搜索引擎返回的重復頁，采用近似網頁聚類算法，對剩余頁面進行聚類，返回給用戶聚類后的網頁簇，這樣用戶就可以選擇瀏覽自己感興趣的頁面，從而大大提高了信息檢索的查準

3、率；為進一步滿足用戶的興趣需要，最后提出了一種基于馬爾可夫鏈的Web訪問序列挖掘算法，對返回給用戶的網頁簇進行二次排序，以保證用戶快速、準確地獲得真正關心的信息。實驗證明該算法在保證查全率和查準率的基礎上大大提高了搜索效率。由于是針對小文本的數據挖掘，本文研究的算法時間和空間復雜度都不高，因此有望成為一種實用、有效的信息檢索技術。 作者設計了一個基于上述思想的智能搜索系統(tǒng)，并用于一個辦公自動化系統(tǒng)。該系統(tǒng)運行速度快，能夠兼顧查全