搜索引擎中文檔聚類方法研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，Web 上的信息浩如煙海，搜索引擎作為互聯(lián)網(wǎng)中的基礎(chǔ)應(yīng)用已經(jīng)成為人們獲取信息的重要工具。為了能給用戶提供更好的搜索服務(wù)，近年來(lái)，數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)技術(shù)被廣泛用來(lái)改善搜索結(jié)果的質(zhì)量。其中，聚類技術(shù)在無(wú)任何先驗(yàn)知識(shí)的情況下，能將大規(guī)模數(shù)據(jù)按照數(shù)據(jù)的相似性劃分成用戶可迅速理解的簇(cluster)，從而使用戶更快地了解大量文檔中所包含的內(nèi)容。因此，聚類技術(shù)成為搜索引擎中不可或缺的部分和研究熱點(diǎn)。
　　 在搜索引擎中，

2、存在著兩類數(shù)據(jù)：一是搜索引擎從互聯(lián)網(wǎng)抓取的文檔即用戶搜索的對(duì)象，包括普通文本網(wǎng)頁(yè)、XML 文檔和包括Flash、AJAX 在內(nèi)的超鏈接信息較少的文檔；二是搜索日志即用戶使用搜索引擎時(shí)產(chǎn)生的行為記錄(userbehavior data)，搜索日志提供了一個(gè)潛在的知識(shí)庫(kù)來(lái)輔助文檔聚類分析。不同的文檔有不同的特點(diǎn)，不同的應(yīng)用對(duì)聚類分析有不同的要求。因此，數(shù)據(jù)的表示、數(shù)據(jù)相似度的定義，以及聚類分組算法是重要研究課題，具有重要的理論和實(shí)際意義。<

3、br>　　 對(duì)于文本文檔(text document),現(xiàn)有的文本聚類算法忽略了文檔是有序的單詞序列而將文檔視為一系列離散單詞的集合?；趲Т翱诩s束的關(guān)聯(lián)規(guī)則的聚類算法(FICW)首先用滑動(dòng)窗口對(duì)單詞的位置進(jìn)行約束，挖掘出文本集合中的頻繁項(xiàng)目集，然后將得到的頻繁項(xiàng)目集用于文本聚類。實(shí)驗(yàn)表明，F(xiàn)ICW 產(chǎn)生了質(zhì)量更高的聚類結(jié)果，具有更好的效率和伸縮性。
　　 XML 文檔是Web 上的重要組成部分，基于公共路徑的XML 文檔相似

4、度定義因?yàn)橛?jì)算開銷小而被應(yīng)用于XML 聚類，卻忽略了公共子路徑在XML 樹上的分布信息。一種基于啟發(fā)性策略的合并編輯距離(MED)，利用將兩棵XML 樹壓縮為它們的公共子樹所需的編輯代價(jià)來(lái)捕獲公共子路徑的分布情況。實(shí)驗(yàn)表明，MED 成功表示了XML 樹間公共子樹的分布情況，基于MED的相似度定義較基于路徑的相似度定義更好地衡量了XML 文檔間的相似程度。另一方面，為解決XML 文檔隨意命名標(biāo)簽導(dǎo)致的度量XML 文檔相似度困難的問(wèn)題，根據(jù)

5、XML 描述同類對(duì)象時(shí)，所使用的數(shù)據(jù)在數(shù)據(jù)類型的構(gòu)成上具有一致性的特點(diǎn)，一種基于數(shù)據(jù)類型樹的相似度評(píng)估標(biāo)準(zhǔn)被應(yīng)用于XML 文檔聚類中。實(shí)驗(yàn)驗(yàn)證了該相似度定義的有效性，得到了較高質(zhì)量的聚類結(jié)果。
　　 搜索日志記錄的用戶點(diǎn)擊情況反映了網(wǎng)頁(yè)中哪些主題才是真正引起用戶興趣的主題。因此利用搜索日志從用戶的角度對(duì)網(wǎng)頁(yè)進(jìn)行聚類分析成為一種有效的方法。基于用戶行為的混合網(wǎng)頁(yè)表示模型首先從搜索引擎的搜索日志中抽取訪問(wèn)過(guò)給定網(wǎng)頁(yè)的查詢，將這些查詢

6、作為描述該網(wǎng)頁(yè)的主題詞，然后以主題詞為中心從網(wǎng)頁(yè)中抽取內(nèi)容生成描述網(wǎng)頁(yè)的虛擬文檔以及相應(yīng)的向量表示。實(shí)驗(yàn)結(jié)果表明，該混合表示模型能有效地改善網(wǎng)頁(yè)分類和聚類的質(zhì)量。
　　 Web 上的AJAX 應(yīng)用和PowerPoint 文件等弱鏈接文檔由于缺乏足夠的超鏈接信息，導(dǎo)致搜索該類文檔時(shí)，排序結(jié)果不佳。針對(duì)該問(wèn)題，基于聚類的弱鏈接文檔排序算法利用聚類算法從高質(zhì)量的網(wǎng)頁(yè)搜索結(jié)果中提取與查詢相關(guān)的主題，并根據(jù)主題的相關(guān)網(wǎng)頁(yè)的排名確定該主題的