面向網(wǎng)絡(luò)輿情分析的數(shù)據(jù)采集與管理方法研究.pdf

1、網(wǎng)絡(luò)新媒體時(shí)代，互聯(lián)網(wǎng)正在改變當(dāng)前社會(huì)的輿情環(huán)境，人們通過網(wǎng)絡(luò)針對(duì)社會(huì)焦點(diǎn)問題和熱門話題發(fā)表自己的態(tài)度與看法，這些信息反映了社會(huì)民意與情緒，組成了網(wǎng)絡(luò)輿情的重要內(nèi)容。然而，網(wǎng)絡(luò)輿情數(shù)據(jù)往往孤立的分布在互聯(lián)網(wǎng)上各個(gè)數(shù)據(jù)源中，如微博、論壇和新聞網(wǎng)站，形成輿情信息孤島。本文研究將彼此孤立的輿情數(shù)據(jù)采集并統(tǒng)一管理，方便后續(xù)進(jìn)行輿情分析，對(duì)出現(xiàn)的網(wǎng)絡(luò)輿情做出及時(shí)預(yù)警，幫助政府和輿情管理者采取相關(guān)措施以控制輿情的發(fā)展。本文在查詢了大量國(guó)內(nèi)外關(guān)于網(wǎng)絡(luò)

2、輿情分析的資料和成果后，在輿情數(shù)據(jù)采集與管理方法上做了詳細(xì)的研究設(shè)計(jì)，并最終實(shí)現(xiàn)了一個(gè)完整的以網(wǎng)絡(luò)數(shù)據(jù)采集與管理為核心的網(wǎng)絡(luò)輿情分析系統(tǒng)。本文的主要工作如下：
　　1.針對(duì)多數(shù)據(jù)源網(wǎng)絡(luò)輿情數(shù)據(jù)采集方法研究：針對(duì)輿情信息內(nèi)容主題，選擇合適的信息數(shù)據(jù)源，設(shè)計(jì)了對(duì)應(yīng)的輿情信息數(shù)據(jù)的采集方法。
　　2.web新聞?wù)某槿∷惴ㄑ芯浚簑eb新聞數(shù)據(jù)是我們輿情數(shù)據(jù)采集的主體，而web新聞?wù)膬?nèi)容信息抽取是必不可少的工作。本文采用基于統(tǒng)計(jì)和

3、基于網(wǎng)頁(yè)結(jié)構(gòu)的web信息抽取思想，改進(jìn)了一個(gè)已有的通用網(wǎng)頁(yè)正文抽取算法，并設(shè)計(jì)了一個(gè)基于統(tǒng)計(jì)和DOM樹結(jié)構(gòu)的web新聞?wù)某槿∷惴?。最后在正文信息抽取精度和速度上?duì)兩個(gè)算法做了測(cè)試、對(duì)比。
　　3.針對(duì)海量網(wǎng)絡(luò)輿情數(shù)據(jù)管理方法研究：為了實(shí)現(xiàn)海量輿情信息數(shù)據(jù)存儲(chǔ)，本文使用hadoop+HBase分布式系統(tǒng)構(gòu)建起海量輿情信息數(shù)據(jù)中心；針對(duì)HBase數(shù)據(jù)檢索的局限性，采用分布式全文索引工具Solr來實(shí)現(xiàn)HBase的二級(jí)索引，以解決海量中