基于領(lǐng)域關(guān)鍵詞自動擴展的變量主題Hopfield聚焦爬蟲的研究.pdf

1、近些年隨著互聯(lián)網(wǎng)信息量的快速增長，如何準(zhǔn)確、快速、高效地從互聯(lián)網(wǎng)上獲取信息的問題變得越來越突出，面向主題的聚焦爬蟲技術(shù)應(yīng)運而生。現(xiàn)有的面向主題的聚焦爬蟲系統(tǒng)均不同程度地存在領(lǐng)域或主題依賴，即主題受限的不足。為了節(jié)約資源、提高建立的快速性、增加適應(yīng)的廣泛性，研究一種面向多領(lǐng)域的、具有主題可移植性的聚焦爬蟲系統(tǒng)是互聯(lián)網(wǎng)應(yīng)用快速發(fā)展的需要。 本文在分析總結(jié)了現(xiàn)有主題聚焦爬蟲技術(shù)的基礎(chǔ)上，提出了常量與變量主題聚焦爬蟲的概念。針對變量主題

2、聚焦爬蟲中主題特征的動態(tài)生成以及網(wǎng)頁抓取準(zhǔn)確性下降這兩個核心問題，提出了一個基于領(lǐng)域關(guān)鍵詞自動擴展的變量主題Hopfield聚焦爬蟲參考模型，并就其中的關(guān)鍵技術(shù)進行了研究。 首先，提出了一個改進的網(wǎng)頁結(jié)構(gòu)化表示模型DocView-a，在量化表示中，它考慮了節(jié)點影響因子對節(jié)點權(quán)值的重要影響，以及節(jié)點類型對節(jié)點權(quán)值的不同影響，使得網(wǎng)頁的量化表示更加準(zhǔn)確，基于此，提出網(wǎng)頁關(guān)鍵詞自動提取改進算法HTTE-a成功地增強了算法抗主題噪聲的能

3、力，在性能上優(yōu)于現(xiàn)有算法HTTE-b，為實現(xiàn)領(lǐng)域關(guān)鍵詞自動擴展，提供關(guān)鍵的技術(shù)基礎(chǔ)；接著，提出了一個面向Hopfield Web理論模型的綜合結(jié)構(gòu)預(yù)測相關(guān)性分析模型，成功克服了現(xiàn)有模型的計算不穩(wěn)定問題；最后，提出了一個基于Hopfield人工神經(jīng)網(wǎng)絡(luò)的URL搜索算法Hncrawl，它在搜索URL的同時，通過神經(jīng)元的相關(guān)性傳播、增強與弱化，結(jié)合神經(jīng)元篩選與剪技策略，不斷清晰Web社區(qū)的主題邊界。 本文還給出了變量主題聚焦爬蟲系統(tǒng)的