搜索引擎智能化技術(shù)的研究與實現(xiàn).pdf

1、當今時代已是信息的時代。隨著Internet的普及應(yīng)用，它已經(jīng)成為人類的信息寶庫。如何借助搜索引擎來幫助人們方便、高效地利用信息已成為當前IT業(yè)的研究熱點之一。由于現(xiàn)今搜索引擎的智尚不夠，人們從網(wǎng)絡(luò)上方便高效地獲取所需信息還有一定的困因此，對搜索引擎智能化技術(shù)進行研究與實現(xiàn)是一個極具現(xiàn)實意義的熱點課題。搜索引擎一般包括信息采集、信息加工、信息檢索和信息檢索結(jié)果提供等幾個部分，其中的每一部分均有很多工作要做，且大多涉及到智能技術(shù)。本文在搜

2、索引擎智能化技術(shù)方面進行了探索，并就如下幾個關(guān)鍵問題進行了創(chuàng)新和深入研究： 第一，為提高信息采集的質(zhì)量，本文研究并實現(xiàn)了對內(nèi)容雷同網(wǎng)頁的去重處理。為了擴大信息覆蓋面，搜索引擎應(yīng)盡量全面地采集信息。但統(tǒng)計表明，Internet上有較多的冗余，因此，對網(wǎng)頁的去重處理很有必要。在課題組原有的根據(jù)網(wǎng)頁標題進行去重的基礎(chǔ)上，結(jié)合主題概念自動抽取技術(shù)，本文通過對網(wǎng)頁URL和網(wǎng)頁間主題概念重合度的計算與分析，實現(xiàn)了對內(nèi)容雷同網(wǎng)頁的去重及聚類處

3、理。 第二，研究并實現(xiàn)了對網(wǎng)頁的動態(tài)采集。為了能夠及時采集到有關(guān)的網(wǎng)頁信息，搜索引擎應(yīng)能根據(jù)網(wǎng)站及其更新速度，動態(tài)地調(diào)整其采集信息的頻度。本文分析了搜索引擎如何有效地完成對網(wǎng)頁的采集，并根據(jù)網(wǎng)站的相關(guān)性調(diào)節(jié)該過程，使得信息采集與更新時的針對性更強。 第三，把面向自然語言提問的理解與檢索的研發(fā)工作又推進了一步。自然語言是人們表示需求最自然和最方便的工具，所以提供支持自然語言的智能檢索接口不僅能使人機交互更具人性化，還能促進

4、搜索引擎的應(yīng)用普及。早幾年，原課題組就已實現(xiàn)了中文自然語言檢索，但原有的句模解析算法雖已能從提問句中提取出反映用戶檢索需求的核心檢索項，卻未能處理其中包含有復(fù)雜邏輯關(guān)系的提問。在課題組原有句模解析相關(guān)算法的基礎(chǔ)上，本文通過定義產(chǎn)生式規(guī)則和使用規(guī)約算法，已能對大多數(shù)常見自然語言提問句中蘊含的概念間的邏輯關(guān)系進行初步識別及有效處理，提高了系統(tǒng)的智能性和實用性。 第四，在檢索結(jié)果提供方面，用相關(guān)概念進行提問反饋，并對檢索結(jié)果進行排序。

5、通常，檢索結(jié)果對用戶使用的查詢項依賴性較強。如果查詢項選擇不當，則檢索結(jié)果往往不太理想，但要求用戶每次都能準確、全面地表達出其檢索需求往往也是較為困難的。為了擴大相關(guān)信息的覆蓋面，本文參照多數(shù)用戶在檢索類似問題時的經(jīng)驗，提出一種相關(guān)概念反饋方法。它既考慮到用戶本身的檢索需求，又考慮到大多數(shù)用戶的興趣，豐富了檢索內(nèi)容。另外，將檢索結(jié)果按照其和用戶提問的相關(guān)性排序輸出，一般來說能更好地滿足用戶的檢索需求。 第五，基于用戶的瀏覽歷史，