基于新聞和論壇的信息采集系統(tǒng)的設計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展,現(xiàn)代社會正處于一個信息爆炸的時代。人們在任何時間、任何地點都可以通過網(wǎng)絡發(fā)布任何消息,毋庸置疑,網(wǎng)絡已經(jīng)深入到我們生活的方方面面,在很大程度上影響并改變著人們的生活方式。面對如此紛繁復雜的互聯(lián)網(wǎng)信息,如何有效地處理和利用這些浩瀚如煙的數(shù)據(jù),成為人們不得不面對的一個巨大挑戰(zhàn)。因此,對網(wǎng)絡上信息的采集、分析、發(fā)布以及相關的信息處理正日益成為國內外學者和機構研究的熱點。
　　通過閱讀大量的國內外相關文獻,本文分析了

2、目前信息采集系統(tǒng)的研究現(xiàn)狀以及發(fā)展趨勢,闡述了本課題的研究意義和實用價值。本文通過大量的文獻資料研究了信息采集系統(tǒng)的相關技術,包括網(wǎng)絡爬蟲技術、代理服務器技術、種子URL的提取和正規(guī)化處理、正則表達式以及中文切詞等技術。
　　本系統(tǒng)使用C＃語言開發(fā)了一個基于新聞和論壇的綜合信息采集系統(tǒng),該信息采集系統(tǒng)實現(xiàn)的采集網(wǎng)站有新浪新聞、騰訊新聞、搜狐新聞、網(wǎng)易新聞、天涯論壇和貓撲論壇。與針對某一個特定網(wǎng)站的單一的信息采集系統(tǒng)相比,本系統(tǒng)可以

3、實現(xiàn)對多個網(wǎng)站進行同時采集,而不影響采集的速度和準確性。本系統(tǒng)還實現(xiàn)了根據(jù)用戶需要隨時增刪采集頻道的功能,增加了系統(tǒng)的使用靈活性。在本系統(tǒng)的設計過程中,使用的是MySQL數(shù)據(jù)庫,用于系統(tǒng)設置以及種子URL和信息采集結果的存儲和提取。本系統(tǒng)所使用的數(shù)據(jù)庫名為MSD0,該數(shù)據(jù)庫涉及到的主要的數(shù)據(jù)表有三個:final表、news表和AdminInfo表。
　　本系統(tǒng)的設計主要包括五個模塊:系統(tǒng)登錄界面、數(shù)據(jù)抓取模塊、數(shù)據(jù)庫訪問模塊、數(shù)據(jù)

4、處理模塊和增刪URL模塊。在介紹該信息采集系統(tǒng)的設計的過程中,本文詳細闡述了信息采集模塊、數(shù)據(jù)處理模塊和增刪URL模塊的設計和實現(xiàn)。信息采集模塊是本系統(tǒng)的核心部分,能夠響應用戶的操作,根據(jù)用戶對采集來源和采集深度的選擇,針對不同網(wǎng)站進行信息采集,并同時顯示信息采集的結果。數(shù)據(jù)處理模塊可以實現(xiàn)對采集到的信息進行抽取和切詞的處理,以便進行后續(xù)的分析,另一方面,在用戶需要的情況下,本模塊還可以實現(xiàn)對切詞后的結果進行詞性標注的功能。增刪URL模