基于示例的中文Web信息自動獲取系統(tǒng)的研究與實現(xiàn).pdf

1、現(xiàn)有的基于關鍵詞的搜索引擎雖然在一定程度上滿足了用戶查詢各種網(wǎng)絡信息的需要，但是沒有考慮用戶個體間的差異，無法滿足人們日益增長的個性化需求。中小型智能個性化網(wǎng)絡信息獲取系統(tǒng)憑借比搜索引擎更為優(yōu)質的網(wǎng)絡信息獲取服務贏得了越來越多的用戶的認同，已經(jīng)成為個性化網(wǎng)絡信息獲取技術的一個重要研究方向。但是，中小型智能個性化網(wǎng)絡信息獲取系統(tǒng)在用戶個性特征提取、基于用戶興趣的Web信息采集、網(wǎng)頁過濾等方面研究的滯后制約了這類系統(tǒng)的開發(fā)和使用。為此，本文

2、通過基于示例的中文Web信息自動獲取系統(tǒng)的研發(fā)對這些問題展開了研究。 本文主要對中文示例Web頁面的特征抽取、待過濾Web信息源的采集、Web頁面的過濾等系統(tǒng)開發(fā)過程中面臨的技術難題進行了研究，提出一些新的算法、機制：為了減輕用戶的使用負擔，提出了一種適用于少量中文正例Web頁面的特征抽取方法，使得用戶即使只提交一至兩個示例也可完成興趣定制，增強了系統(tǒng)的易用性；提出了一種基于元搜索的Web頁面聚焦采集機制，能快速、有針對性地采集

3、待過濾Web信息源，節(jié)約系統(tǒng)資源和網(wǎng)絡資源；提出了一種可調節(jié)的過濾閾值設定方法，可按用戶選取的過濾精確等級向用戶推送興趣Web頁面。另外，改進了基于分塊的HTML網(wǎng)頁去噪解析方法，可以有效地剔除各種頁面噪聲、解析出Web頁面的正文文本內容；設計的系統(tǒng)構架具有較好的可擴展性、可維護性、可伸縮性以及可靠性，對其它個性化Web信息獲取系統(tǒng)的開發(fā)也具有一定的借鑒意義。最后在上述基礎上，確立了系統(tǒng)的技術方案，并據(jù)此實現(xiàn)了一個原型系統(tǒng)。系統(tǒng)采用的技

4、術方案是：采用多層客戶機/服務器體系結構，引入偽正例Web頁面并結合《人民日報》切分標注語料抽取用戶提交的少量示例網(wǎng)頁的特征來建立用戶興趣模板、設置過濾閾值，構建元搜索引擎獲取待過濾Web信息源，使用向量空間模型過濾出興趣網(wǎng)頁并將它們推送給用戶，根據(jù)用戶對結果的反饋自適應地修改用戶興趣模板。 實驗結果表明，較基于關鍵詞的機器人搜索引擎而言，系統(tǒng)能充分考慮用戶的興趣偏好(示例)，以較小的資源代價長期、主動地向用戶提供更加準確的We