面向輿情監(jiān)測的主題爬蟲設計與分析.pdf

1、隨著社會的進步，互聯(lián)網(wǎng)逐漸成為人們表達輿論的一個重要平臺。與傳統(tǒng)的媒體相比，網(wǎng)絡具有傳播迅速、用戶匿名等特點，這對社會輿論起到了很好的監(jiān)督作用，但也容易包含反動、迷信和黃色的內容，給社會安定甚至國家安全帶來困擾。因此，如何在豐富的網(wǎng)絡信息中及時獲取當前網(wǎng)民關心的輿情信息，幫助政府及時了解當前社會重要事件及輿論方向就顯得十分重要。
　　運用搜索引擎等信息技術進行網(wǎng)絡輿情的搜集與監(jiān)控是切實有效的方法。本文提出了一種改進的基于在線增量學

2、習的主題爬蟲SVM分類器算法。通過對傳統(tǒng)主題爬蟲SVM分類器的改進，將歷史訓練集中對正反例影響較大的樣本剔除并與增量集重新訓練來獲得完備的訓練集，以提高獲取率。最后以該算法為基礎構建了一個主題爬蟲框架，開發(fā)完成了一個面向網(wǎng)絡輿情抓取的主題爬蟲系統(tǒng)，實驗結果表明，在網(wǎng)絡輿情的采集過程中有效的提高了網(wǎng)絡輿情信息的獲取率。
　　本文的具體研究工作主要有:一是信息采集和預處理技術。研究如何從松散的非結構化信息中采集資料。利用主題爬蟲技術和

3、網(wǎng)頁凈化技術、中文分詞技術，實現(xiàn)網(wǎng)絡信息的自動采集與結構化存儲。二是SVM分類器分類算法研究。通過人為設定的某一主題，經過訓練這一主題的訓練集得到主題向量的向量模型表示，然后將實際抓取的頁面跟訓練得到的主題向量模型進行相關度計算，將高相關度的網(wǎng)頁提取出來。實驗數(shù)據(jù)表明，在查準率和查全率以及主題爬蟲的獲取率等方面，改進的增量學習的SVM分類方法的結果比傳統(tǒng)SVM分類方法明顯要好。三是開發(fā)完成了一個網(wǎng)絡輿情抓取原型系統(tǒng)。在以上研究的基礎上，