基于規(guī)則的論壇爬取與抽取一體化.pdf

1、近些年來，論壇、博客和微博等相繼出現(xiàn)在互聯(lián)網(wǎng)應(yīng)用中，并逐漸成為人們發(fā)布互聯(lián)網(wǎng)信息的主要方式。其中，論壇已成為信息發(fā)布、共享和傳播的重要平臺。論壇的內(nèi)容由普通用戶創(chuàng)建和發(fā)布，對于輿情分析、互聯(lián)網(wǎng)廣告推薦等應(yīng)用具有重要意義。
　　 數(shù)據(jù)爬取(Data Crawler)是數(shù)據(jù)分析和應(yīng)用的前提。傳統(tǒng)的爬取技術(shù)以頁面為單位爬取網(wǎng)頁，并將數(shù)據(jù)的處理與分析放在網(wǎng)頁爬取之后。這種方式不適合論壇數(shù)據(jù)的爬取。這主要是有以下兩方面的原因：首先，論壇數(shù)

2、據(jù)具有較強(qiáng)的結(jié)構(gòu)性。傳統(tǒng)的爬蟲以單個頁面為單位進(jìn)行數(shù)據(jù)的爬取，忽略了論壇頁面的內(nèi)在結(jié)構(gòu)和頁面間的關(guān)聯(lián)。其次，數(shù)據(jù)大都隱藏于網(wǎng)絡(luò)頁面的結(jié)構(gòu)中。傳統(tǒng)的爬蟲保存頁面的完整信息，不對頁面進(jìn)行數(shù)據(jù)處理。
　　 因此，本文提出了一種新的數(shù)據(jù)爬取和信息抽取一體化的論壇數(shù)據(jù)爬取方法，并在該方法的基礎(chǔ)上設(shè)計與實現(xiàn)了InForCE系統(tǒng)。該系統(tǒng)分析論壇導(dǎo)航頁面的結(jié)構(gòu)和內(nèi)容，以此進(jìn)行帖子頁面爬取任務(wù)的調(diào)度，并按照論壇內(nèi)容對爬取的數(shù)據(jù)進(jìn)行組織與管理。In

3、ForCE系統(tǒng)由爬蟲、HTML解析器、鏈接池、學(xué)習(xí)器和規(guī)則庫組成。爬蟲用于爬取網(wǎng)頁。HTML解析器將HTML頁面轉(zhuǎn)化為用于信息抽取的XHTML頁面。鏈接池用于判斷系統(tǒng)的調(diào)度策略。規(guī)則學(xué)習(xí)器和規(guī)則庫用于頁面的信息抽取。
　　 本文的主要貢獻(xiàn)總結(jié)如下：
　　 1.將頁面爬取、結(jié)構(gòu)分析和內(nèi)容抽取相結(jié)合，并根據(jù)信息單元(而不是頁面)對爬取任務(wù)進(jìn)行調(diào)度，對爬取的數(shù)據(jù)進(jìn)行管理。信息單元是一個帖子的所有信息。論壇頁面類型包括導(dǎo)航頁面和

4、帖子頁面。導(dǎo)航頁面以列表的形式展示了所有討論的主題。帖子頁面顯示主題和關(guān)于主題的跟帖。導(dǎo)航頁面的內(nèi)容決定帖子頁面的爬取調(diào)度策略，并將同一個帖子的所有內(nèi)容組織在同一個文檔中。
　　 2.提出了一種基于XML和XPath模式的描述性模式映射規(guī)則，并將其用于論壇數(shù)據(jù)的抽取與轉(zhuǎn)化。XPath模式表示一組XPath的特征。它被用于定義模式映射規(guī)則。模式映射規(guī)則表示從源文檔(通常為XHTML格式)到目標(biāo)文檔(通常為XML格式)的數(shù)據(jù)映射關(guān)系

5、。
　　 3.使用規(guī)則學(xué)習(xí)器簡化信息抽取的過程。通過機(jī)器學(xué)習(xí)的方式獲取模式映射規(guī)則，并將其自動轉(zhuǎn)化為XSLT，從而實現(xiàn)從論壇頁面到最終結(jié)果的轉(zhuǎn)換。規(guī)則的自動轉(zhuǎn)化使不具有XSLT知識的用戶也能夠快速完成數(shù)據(jù)的抽取任務(wù)。
　　 綜上所述，我們分析了論壇數(shù)據(jù)獲取過程中存在的問題，并針對論壇的數(shù)據(jù)特征設(shè)計了InForCE系統(tǒng)。本文以籬笆論壇為實驗，定義數(shù)據(jù)抽取模型，學(xué)習(xí)模式映射規(guī)則，并進(jìn)行論壇數(shù)據(jù)的爬取和抽取。目前，InForC