智能搜索引擎理論與應(yīng)用研究.pdf

1、該文深入研究了智能搜索引擎中所使用的理論、算法與實(shí)現(xiàn)技術(shù),采用鞏固學(xué)習(xí)、隱馬爾科夫模型(HMM)、樸素貝葉斯分類模型等機(jī)器學(xué)習(xí)方法在網(wǎng)絡(luò)蜘蛛、信息抽取、文本預(yù)處理和信息檢索等方面提出了若干新的算法,并建立了仿真平臺(tái)和實(shí)驗(yàn)原型系統(tǒng).理論分析和實(shí)驗(yàn)結(jié)果表明,這些算法具有較好的性能.網(wǎng)絡(luò)蜘蛛是智能搜索引擎中首先需要解決的問(wèn)題.該文利用Web網(wǎng)頁(yè)分布群聚性的特點(diǎn),結(jié)合鞏固學(xué)習(xí)方法,提出了一種新的啟發(fā)式搜索算法.結(jié)合這種分塊的思想,該文提出了基于

2、文本分塊的HMM信息抽取算法.實(shí)驗(yàn)結(jié)果表明,這種方法比基于HMM模型的信息抽取算法具有更好的性能.文本信息處理通常采用向量空間模型表示文本信息,需要對(duì)單詞進(jìn)行預(yù)處理以降低單詞數(shù)量.結(jié)合對(duì)單詞過(guò)濾與特征選取兩類常用預(yù)處理方法的研究,該文提出了基于最小類差異的特征過(guò)濾算法.信息檢索是智能搜索引擎中的查詢機(jī)制.該文結(jié)合Web信息表示的特點(diǎn),提出了一種N層向量空間模型.基于超鏈接的信息檢索方法是一種新型的信息檢索機(jī)制.該文針對(duì)基于超鏈接的HIT

3、S(Hyperlink-Induced Topic Search)算法,結(jié)合N層向量空間模型的思想,提出了一種基于錨點(diǎn)信息的超鏈接檢索排序算法.針對(duì)Web信息的動(dòng)態(tài)性將導(dǎo)致搜索引擎所采集的信息失效,而一般的策略采用固定周期的信息更新算法,該文提出了一種基于最高響應(yīng)比算法的WWW索引信息庫(kù)更新方法,利用索引信息的訪問(wèn)情況以及網(wǎng)頁(yè)的更新頻度計(jì)算網(wǎng)頁(yè)的更新周期,按照不同更新周期的情況進(jìn)行信息的有效性檢查,不僅減輕了系統(tǒng)信息維護(hù)的工作量,而且保