面向特殊主題的排序與檢索算法研究.pdf

1、在Internet高速發(fā)展的時(shí)代中,人們通過通用搜索引擎的幫助從浩瀚的信息海洋中尋找自己需要的信息,但通用搜索引擎因?yàn)楸旧砗w的信息過于廣泛而導(dǎo)致了人們往往不能迅速準(zhǔn)確的搜索到需要的信息,針對這種情況主題搜索引擎誕生了。主題搜索引擎的專業(yè)性和抗干擾性使得檢索準(zhǔn)確率大大提升。隨著網(wǎng)絡(luò)信息多樣化發(fā)展,常見的主題搜索有:科技文檔搜索、電影資料搜索、數(shù)碼時(shí)尚搜索、書籍期刊搜索、新聞搜索等。但沒有一種主題搜索引擎技術(shù)能適用于所有的主題領(lǐng)域,有些主

2、題領(lǐng)域具有一些與上述主題領(lǐng)域不同的特點(diǎn),例如藥物商品搜索、職位信息搜索等,這類主題領(lǐng)域的信息同時(shí)具有文檔結(jié)構(gòu)固定、多詞同義現(xiàn)象嚴(yán)重、查詢詞在文檔中出現(xiàn)少等特點(diǎn)。對于這類特殊主題領(lǐng)域,普通檢索技術(shù)往往不能獲得良好的檢索效果。本文主要工作即針對這類特殊主題搜索引擎的排序、檢索與性能優(yōu)化算法展開深入研究,主要工作有:
　　(1)提出了一種能更好的適應(yīng)特殊主題領(lǐng)域的SPF-PR(Specifically Focused PageRank)

3、網(wǎng)頁排序算法。PageRank算法是基于超鏈接分析技術(shù)的頁面排序算法,隨著網(wǎng)頁鏈接結(jié)構(gòu)的復(fù)雜程度不斷增加,PageRank算法為了適應(yīng)具體的不同應(yīng)用需求還需要不斷改進(jìn)和完善。本文在傳統(tǒng)PagerRank算法的基礎(chǔ)上提出了SPF-PR算法。SPF-PR算法采用了超鏈接錨文本與領(lǐng)域向量之間的相似度來控制傳統(tǒng) PageRank算法的主題漂移現(xiàn)象,比傳統(tǒng) PageRank算法具有更高的檢索性能。
　　(2)針對特殊主題領(lǐng)域的文檔特點(diǎn)設(shè)計(jì)了

4、SEB-VSM(Seed Extension Based VSM)檢索模型。目前多數(shù)搜索引擎采用的VSM(Vector Space Model)檢索模型并不適用于某些特殊領(lǐng)域的檢索,本文在VSM檢索模型的基礎(chǔ)上設(shè)計(jì)了SEB-VSM檢索模型來提高特殊主題搜索的檢索性能,解決了VSM檢索模型不適用于特殊主題領(lǐng)域檢索的問題。
　　(3)設(shè)計(jì)了一種基于Lingo聚類算法的SEB-VSM檢索模型優(yōu)化方案,包括特征降維與相似度優(yōu)化?；贚in

5、go聚類的特征降維技術(shù)降低了文檔向量的維度,提高了相似度計(jì)算的執(zhí)行效率,降低噪音數(shù)據(jù)對相似度計(jì)算的影響;基于Lingo聚類算法的相似度優(yōu)化,減小相似度計(jì)算的誤差。經(jīng)實(shí)驗(yàn)證明基于Lingo聚類的特征降維與相似度優(yōu)化能有效的提高SEB-VSM檢索模型的性能。
　　最后應(yīng)用上述改進(jìn)與優(yōu)化算法,設(shè)計(jì)了一個(gè)面向特殊主題的搜索引擎系統(tǒng),采集了大量網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行測試,實(shí)驗(yàn)證明上述改進(jìn)能在本文研究的特殊主題領(lǐng)域中有效的提高檢索性能,在實(shí)際應(yīng)用中具有