基于快速相似度的Web結(jié)構(gòu)挖掘的研究.pdf

1、隨著萬維網(wǎng)進(jìn)入人們的生活,網(wǎng)絡(luò)已成為人們獲取信息和資源的主要來源之一。然而如何在具有海量、半結(jié)構(gòu)化或非結(jié)構(gòu)化、動(dòng)態(tài)性和多態(tài)性等特征的信息中方便、迅速、準(zhǔn)確地檢索到用戶真正需要的內(nèi)容己成為數(shù)據(jù)組織和Web相關(guān)領(lǐng)域?qū)＜覍W(xué)者關(guān)注的焦點(diǎn)。
　　 本文首先介紹Web數(shù)據(jù)挖掘的定義及其三個(gè)分類:Web內(nèi)容挖掘、Web結(jié)構(gòu)挖掘和Web使用挖掘,研究這三類Web挖掘的方法和進(jìn)行Web數(shù)據(jù)挖掘的挖掘流程。然后,介紹本文主要研究對象Web結(jié)構(gòu)挖掘,

2、其中以體現(xiàn)網(wǎng)頁結(jié)構(gòu)關(guān)系的經(jīng)典算法PageRank算法為研究重點(diǎn),PageRank算法單純描述鏈接之間的關(guān)系,沒有分析網(wǎng)頁中的內(nèi)容和用戶查詢主題的相似度,容易發(fā)生主題漂移現(xiàn)象,降低搜索準(zhǔn)確率。針對PageRank的缺點(diǎn)本文從以下兩方面進(jìn)行改進(jìn)：⑴以增強(qiáng)搜索準(zhǔn)確度為目標(biāo),引入文本相似度排序因子。將快速的漢明距離相似度文本相似度方法與PageRank算法結(jié)合,以提高與搜索主題相似頁面的PageRank值,更精確地描述鏈接之間的關(guān)系,提高檢索準(zhǔn)

3、確度,減少主題漂移現(xiàn)象；⑵為增強(qiáng)搜索查全率,本文增加檢索詞的同義詞搜索,為此需改進(jìn)漢明距離相似度算法,在計(jì)算過程中增加同義詞的匹配,并且嚴(yán)格區(qū)分檢索詞和檢索詞的同義詞,使其在相似度計(jì)算上有不同的結(jié)果。結(jié)合上述兩點(diǎn),本文在PageRank算法的基礎(chǔ)上提出快速相似度PageRank算法作為網(wǎng)頁排序標(biāo)準(zhǔn)。最后,利用Lucene和Nutch爬蟲技術(shù)實(shí)現(xiàn)以快速相似度PageRank算法為排序方法的搜索引擎。利用從互聯(lián)網(wǎng)中抓取的大量網(wǎng)頁,對快速相似