基于用戶興趣本體的初始URLs選擇方法的研究.pdf

1、近年來(lái)，隨著本體技術(shù)的迅速發(fā)展，因具有良好的概念層次結(jié)構(gòu)和對(duì)邏輯推理的支持，本體在面向知識(shí)表達(dá)和信息檢索方面得到了廣泛的應(yīng)用，并且成為人工智能、語(yǔ)義Web、Web挖掘等領(lǐng)域的研究熱點(diǎn)。由于Web技術(shù)的快速發(fā)展，其海量數(shù)據(jù)的復(fù)雜性、動(dòng)態(tài)性和用戶主題的普遍性等特點(diǎn)給現(xiàn)有的搜索引擎發(fā)展帶來(lái)了極大的挑戰(zhàn)。怎樣在Web中及時(shí)地、有效地、精確地定位用戶主題資源是提高搜索引擎的檢索效率的研究重點(diǎn)。本文將搜索引擎與本體技術(shù)相結(jié)合，提出主題爬行蟲(chóng)入口-初

2、始URLs選擇方法，并從理論和實(shí)驗(yàn)角度說(shuō)明初始URLs對(duì)于主題搜索引擎的重要性。
　　 首先，通過(guò)形式概念分析理論，提出用戶興趣本體的構(gòu)建方法。具體方法：自下向上合并分類概念格和文檔概念格，形成能夠表達(dá)用戶興趣的優(yōu)化概念格，通過(guò)概念格-本體轉(zhuǎn)化的LMOA規(guī)則，最終形成用戶興趣本體。該本體構(gòu)建的目的是通過(guò)描述概念及其間的關(guān)系來(lái)指導(dǎo)主題爬行蟲(chóng)的行為，選擇與主題相關(guān)的網(wǎng)頁(yè)，滿足用戶的個(gè)性化需求。
　　 其次，本文在利用Web鏈

3、接結(jié)構(gòu)的同時(shí)，結(jié)合用戶興趣本體，提出了基于用戶興趣本體的初始URLs選擇方法。該方法的特點(diǎn)是將用戶興趣本體與HITS算法相結(jié)合，一是利用本體信息對(duì)HITS算法獲取基礎(chǔ)集進(jìn)行修剪，提高HITS算法主題識(shí)別能力；二是利用HITS算法得到的權(quán)威網(wǎng)頁(yè)和中心網(wǎng)頁(yè)描述主題區(qū)域，并對(duì)用戶興趣本體進(jìn)行更新，通過(guò)用戶興趣本體加權(quán)擴(kuò)展用戶的興趣主題，使之能準(zhǔn)確表達(dá)用戶興趣需求；②該方法將網(wǎng)頁(yè)內(nèi)容和鏈接分析同時(shí)考慮來(lái)發(fā)現(xiàn)興趣主題，通過(guò)利用圖論相關(guān)知識(shí)，把尋找

4、“核心主題區(qū)域”的問(wèn)題轉(zhuǎn)化為“在完全有向圖查找完全二分有向圖”的問(wèn)題，從而降低了算法實(shí)現(xiàn)的難度；③利用用戶興趣本體擴(kuò)展興趣主題特征向量，并與權(quán)威頁(yè)面集進(jìn)行相似度計(jì)算，重新過(guò)濾搜索結(jié)果得到最終的初始URLs。
　　 最后，利用VC6.0開(kāi)發(fā)應(yīng)用程序進(jìn)行驗(yàn)證。實(shí)驗(yàn)(1)將十組用戶查詢?cè)~集提交給Wikipedia，對(duì)返回的結(jié)果進(jìn)行處理，構(gòu)建概念格，并構(gòu)建用戶興趣本體。實(shí)驗(yàn)(2)實(shí)現(xiàn)基于該本體的初始URLs選擇方法，目的是通過(guò)此爬行蟲(chóng)入