面向Web文本挖掘的主題網(wǎng)絡(luò)爬蟲(chóng)研究.pdf

1、隨著Web3.0時(shí)代的到來(lái)，互聯(lián)網(wǎng)中Web頁(yè)面的數(shù)量和復(fù)雜性呈現(xiàn)出爆炸性增長(zhǎng)趨勢(shì)，伴隨的是包含在Web頁(yè)面中的信息也呈幾何數(shù)量級(jí)增長(zhǎng)。Web頁(yè)面信息通常是由Web頁(yè)面中的文本體現(xiàn)出來(lái)的，因此Web文本數(shù)據(jù)中隱藏著豐富的，對(duì)用戶(hù)有價(jià)值的知識(shí)和規(guī)則。但是由于Web文本數(shù)據(jù)半結(jié)構(gòu)化、實(shí)時(shí)性和離散性等特點(diǎn)，用戶(hù)很難直接從如此復(fù)雜的數(shù)據(jù)集中獲取到自己需要的知識(shí)。因此如何有效的從海量的Web本文數(shù)據(jù)中挖掘出用戶(hù)真正關(guān)心的信息和知識(shí)，并以用戶(hù)能夠理解

2、的方式呈現(xiàn)出來(lái)，是當(dāng)下非常熱門(mén)的研究課題。
　　本文主要從獲取Web文本數(shù)據(jù)和對(duì)Web文本數(shù)據(jù)的分析兩方面著手，對(duì)如何準(zhǔn)確且高效的獲取用戶(hù)所需要的Web文本信息，并挖掘其中有價(jià)值的知識(shí)展開(kāi)研究。本文具體的研究工作如下：
　　主題網(wǎng)絡(luò)爬蟲(chóng)：首先綜合分析了現(xiàn)有的主題網(wǎng)絡(luò)爬蟲(chóng)實(shí)現(xiàn)的原理及結(jié)構(gòu)，然后對(duì)主題網(wǎng)絡(luò)爬蟲(chóng)的分類(lèi)進(jìn)行介紹，選擇功能型主題網(wǎng)絡(luò)爬蟲(chóng)為本文研究的重點(diǎn)。最后分析了網(wǎng)絡(luò)爬蟲(chóng)實(shí)現(xiàn)語(yǔ)言，選擇Node.js這門(mén)新興語(yǔ)言來(lái)實(shí)現(xiàn)針

3、對(duì)主題網(wǎng)絡(luò)社區(qū)的主題網(wǎng)絡(luò)爬蟲(chóng)。
　　Web文本表示模型：首先綜合分析了現(xiàn)有的文本表示模型，然后從本文所面對(duì)的Web文本數(shù)據(jù)以短文本為主的實(shí)際情況出發(fā)，結(jié)合自然語(yǔ)言處理中關(guān)鍵詞提取和詞向量表示的相關(guān)技術(shù)，提出一種基于關(guān)鍵詞向量的文本表示模型。
　　Web文本聚類(lèi)算法：首先介紹了Web文本挖掘技術(shù)的定義。其次詳細(xì)介紹了Web文本挖掘中的聚類(lèi)挖掘技術(shù)。在分析了Web文本聚類(lèi)算法分類(lèi)的基礎(chǔ)上，選取BIRCH算法為本文的Web文本聚類(lèi)