基于短語特征的Web文檔聚類方法研究.pdf

1、經(jīng)過幾十年的發(fā)展,Internet已經(jīng)成為世界上最大的資源庫,其絕大部分信息都是以Web文本的形式存在。為了充分利用這些資源、使用戶準(zhǔn)確地找到需要的資料、節(jié)約搜索時(shí)間、提高利用價(jià)值,出現(xiàn)了Web數(shù)據(jù)挖掘技術(shù)。利用分類、聚類、關(guān)聯(lián)分析、趨勢(shì)預(yù)測(cè)等技術(shù)從Web文本中發(fā)現(xiàn)和抽取用戶感興趣的有用模式和隱藏的信息。
　　 Web文檔聚類是Web文本挖掘的一個(gè)重要研究分支,作為一種無監(jiān)督的學(xué)習(xí)方法,不需要訓(xùn)練過程,也不需要預(yù)先對(duì)文檔進(jìn)行手工

2、標(biāo)注,具有一定的靈活性和較高的自動(dòng)化處理能力,能夠?qū)ξ臋n進(jìn)行有效組織、獲取摘要和導(dǎo)航?？梢栽谝欢ǔ潭壬辖鉀Q信息雜亂和信息爆炸的問題。作為信息檢索、信息過濾、搜索引擎、數(shù)字圖書館等領(lǐng)域的技術(shù)基礎(chǔ),Web文檔聚類有著廣闊的應(yīng)用前景。
　　 本文闡述了Web文檔聚類的基本概念、方法、研究現(xiàn)狀及存在的問題。從文檔聚類分析過程角度介紹了Web文檔聚類的相關(guān)理論和技術(shù),包括文檔數(shù)據(jù)表示模型、相似度測(cè)量、聚類算法、聚類結(jié)果評(píng)價(jià)指標(biāo)和聚類算法分

3、析等。提出了三個(gè)以短語特征為基礎(chǔ)的聚類方法。
　　 ①對(duì)于半結(jié)構(gòu)化的Web文檔,HTML標(biāo)簽標(biāo)識(shí)出了文檔的結(jié)構(gòu)和不同部分的重要程度。針對(duì)這個(gè)特點(diǎn),本文提出了用于Web文檔聚類的加權(quán)后綴樹聚類算法WSTC本算法依據(jù)HTML標(biāo)簽把文檔劃分成具備不同重要性等級(jí)的段、段劃分成句子,用句子構(gòu)造文檔集的加權(quán)廣義后綴樹模型,句子的重要性等級(jí)作為結(jié)構(gòu)權(quán)值融入后綴樹的節(jié)點(diǎn)中?；谖臋n間共享短語的識(shí)別,選擇節(jié)點(diǎn)作為基類簇和合并基類簇。在此過程中,綜

4、合考慮節(jié)點(diǎn)包含的文檔數(shù)、句子數(shù)、短語長度和節(jié)點(diǎn)的重要性等級(jí)。實(shí)驗(yàn)結(jié)果表明結(jié)合Web文檔特點(diǎn)的聚類算法WSTC提高了聚類質(zhì)量。
　　 ②Web文檔集的加權(quán)廣義后綴樹模型創(chuàng)立后,每個(gè)節(jié)點(diǎn)代表了一個(gè)短語,可以作為文檔的一個(gè)特征。利用這個(gè)特點(diǎn),本文提出了一種集成加權(quán)廣義后綴樹模型和向量空間模型的混合模型WSTVSM用于Web文檔聚類。首先構(gòu)造Web文檔集的加權(quán)廣義后綴樹模型。然后,把后綴樹的節(jié)點(diǎn)代表的加權(quán)短語及其權(quán)值映射到M維向量空間模

5、型,擴(kuò)展TF-IDF特征計(jì)算方案計(jì)算基于加權(quán)短語的文檔向量的特征值,形成混合模型WSTVSM。在此模型上計(jì)算基于加權(quán)短語的文檔相似度,利用組平均層次凝聚聚類算法進(jìn)行聚類,取得了較好的效果。
　　 ③一般地,劃分型聚類算法,如K-means算法,時(shí)間復(fù)雜度低、聚類速度快,但是穩(wěn)定性較差。本文在分析K-means聚類算法的基本問題后,提出了用WSTC算法改進(jìn)其初始聚類中心的混合聚類算法STK-means。首先,構(gòu)建Web文檔集的加權(quán)