基于對象的領(lǐng)域搜索.pdf

1、萬維網(wǎng)（World Wide Web）信息的爆炸性增長使Web已經(jīng)成為世界上最大的信息庫。面對這個(gè)海量、異構(gòu)、半結(jié)構(gòu)化的信息庫，Web用戶經(jīng)常發(fā)現(xiàn)要查找到所需的信息需要耗費(fèi)大量的精力，甚至難以找到，造成了“信息過載，知識(shí)匱乏”的問題。為了解決這個(gè)問題，在Web信息檢索領(lǐng)域產(chǎn)生了一個(gè)新的研究課題，領(lǐng)域搜索引擎。它的基本思想可以概括為：與通用的搜索引擎不同，只對一個(gè)特定領(lǐng)域內(nèi)的網(wǎng)頁集合，以方便、有效的檢索方式滿足用戶的信息檢索需求。它的理論

2、和技術(shù)基礎(chǔ)主要包括機(jī)器學(xué)習(xí)、信息檢索、概率統(tǒng)計(jì)理論和Web新技術(shù)。在很多應(yīng)用領(lǐng)域，例如學(xué)術(shù)搜索，電子商務(wù)搜索，都有很好的應(yīng)用前景，與現(xiàn)有的Web搜索引擎可以形成良好的互補(bǔ)。 基于對象的領(lǐng)域搜索是微軟亞洲研究院在2005年的萬維網(wǎng)大會(huì)(World Wide Web Conference 2005)上提出的新理念。這一理念融合了數(shù)據(jù)庫和信息檢索這兩個(gè)領(lǐng)域的主要技術(shù)，認(rèn)為當(dāng)一個(gè)搜索引擎只集中于處理一個(gè)特定領(lǐng)域的Web頁面的話，應(yīng)該能

3、夠提供比基于頁面的搜索更好的服務(wù)，可以有相對自動(dòng)化的方法從Web頁面中獲得這個(gè)特定領(lǐng)域所關(guān)心的對象，提供對象一級的搜索。 本文將對基于對象的領(lǐng)域搜索引擎的數(shù)據(jù)倉庫型的解決方案進(jìn)行討論，對幾大核心技術(shù)進(jìn)行分析，包括對象的抽取，對象的集成，對象的搜索，以及領(lǐng)域搜索引擎的聚焦爬蟲。同時(shí)，本文通過對兩個(gè)領(lǐng)域的數(shù)據(jù)集的實(shí)驗(yàn)，旅游和學(xué)術(shù)搜索，來研究一些新技術(shù)的可行性，包括對象的識(shí)別，對象的搜索，以及領(lǐng)域搜索的聚焦爬蟲。 本文的主要

4、創(chuàng)新工作在于以下幾方面： 1. 首先，在分析了現(xiàn)有主題爬蟲由于缺少增量學(xué)習(xí)能力而影響系統(tǒng)性能的基礎(chǔ)上，本文提出了基于增量學(xué)習(xí)的主題爬蟲系統(tǒng)，使頁面分類器和超鏈接評價(jià)器具有增強(qiáng)學(xué)習(xí)能力，改進(jìn)了現(xiàn)有的主題爬蟲的體系結(jié)構(gòu)，使主題爬蟲在爬行過程中能夠在線的學(xué)習(xí)，具有更強(qiáng)的自適應(yīng)性，快速優(yōu)化爬行策略； 2. 對象識(shí)別是提供高質(zhì)量的Web對象的基礎(chǔ)，因此對象識(shí)別的準(zhǔn)確率對于基于對象的領(lǐng)域搜索至關(guān)重要。現(xiàn)有的方法主要集中在利用對象的

5、屬性信息來解決對象識(shí)別的問題，本文對一種新的對象識(shí)別的方法進(jìn)行了研究，即利用本地?cái)?shù)據(jù)集上的實(shí)體關(guān)系的連通性來解決對象識(shí)別。此外，本文還提出了利用無結(jié)構(gòu)化的Web文檔集來輔助本地?cái)?shù)據(jù)集的對象識(shí)別，并通過再DBLP的實(shí)驗(yàn)中看到了準(zhǔn)確率有較大的提高； 3. 基于對象的檢索比一般的網(wǎng)頁檢索提出了更高的檢索精度要求，因此有必要提出高質(zhì)量的Web檢索算法。與網(wǎng)頁中的一般文本不同，錨文本是一種較為客觀的文本，對錨文本相似性的研究與同樣的超鏈