海量web輿情挖掘算法研究.pdf

1、web輿情是互聯(lián)網(wǎng)上圍繞中介性社會(huì)事件的發(fā)生、發(fā)展和變化，民眾對(duì)社會(huì)管理者產(chǎn)生和持有的社會(huì)政治態(tài)度，它主要以論壇、博客、新聞跟帖為載體。由于網(wǎng)絡(luò)輿論的自由性和隨意性，越來越多的網(wǎng)民樂意借助論壇、博客、新聞跟帖等方式發(fā)表觀點(diǎn)、相互交流。網(wǎng)民憑借互聯(lián)網(wǎng)高度開放自由的優(yōu)勢，對(duì)社會(huì)發(fā)展中的種種問題暢所欲言，能在極短時(shí)間內(nèi)凝聚共識(shí)，誘發(fā)行動(dòng)，影響社會(huì)。然而由于網(wǎng)民閱歷和思想認(rèn)識(shí)水平的局限性，很難在短時(shí)間內(nèi)理清事情背后復(fù)雜的社會(huì)和心理動(dòng)因，非理性和

2、過于主觀的聲音經(jīng)常容易占據(jù)上風(fēng)，從一系列突發(fā)事件來看，網(wǎng)民通過網(wǎng)絡(luò)爆發(fā)出的輿論能量不容忽視。在互聯(lián)網(wǎng)影響力日益增大的今天，互聯(lián)網(wǎng)已成為思想文化的集散地和社會(huì)輿論的放大器，web輿情變得越來越重要。各級(jí)黨政機(jī)關(guān)、企事業(yè)單位和學(xué)術(shù)機(jī)構(gòu)都越來越重視互聯(lián)網(wǎng)輿情的監(jiān)測、研究和引導(dǎo)。我們要充分認(rèn)識(shí)以互聯(lián)網(wǎng)為代表的新興媒體的社會(huì)影響力。因此，快速、準(zhǔn)確的發(fā)現(xiàn)web輿情并對(duì)web輿情進(jìn)行有效監(jiān)控勢在必行。
　　目前最大的信息系統(tǒng)web，其數(shù)據(jù)具有

3、海量、多樣、異構(gòu)、動(dòng)態(tài)變化等特性。這樣使得依靠人工的方法難以應(yīng)對(duì)海量web信息的收集和web輿情的發(fā)現(xiàn)。本文為了解決上述問題，對(duì)web信息的采集和web輿情的發(fā)現(xiàn)進(jìn)行了學(xué)習(xí)和研究。研究的主要內(nèi)容包括：網(wǎng)絡(luò)爬蟲技術(shù)，并行計(jì)算技術(shù)，數(shù)據(jù)劃分技術(shù)，web輿情發(fā)現(xiàn)技術(shù)。首先，在研究現(xiàn)有爬蟲技術(shù)的基礎(chǔ)上，設(shè)計(jì)了一種可更改策略的網(wǎng)絡(luò)爬蟲系統(tǒng)，該爬蟲以通用爬蟲為主體進(jìn)行爬行，并能更改爬行時(shí)間和爬行方式，從而使爬蟲更加友好并能有效利用網(wǎng)絡(luò)資源。接著，對(duì)

4、web輿情發(fā)現(xiàn)進(jìn)行了研究，提出了一種基于兩層結(jié)構(gòu)的分類方法，試驗(yàn)證明，本文提出的分類算法具有較好的準(zhǔn)確性和實(shí)用性。同時(shí)，利用基于最大頻繁詞集的數(shù)據(jù)劃分方法對(duì)傳統(tǒng)的凝聚式層次聚類算法進(jìn)行了并行化實(shí)現(xiàn)。然后，將基于最大頻繁詞集的數(shù)據(jù)劃分方法在HADOOP平臺(tái)上進(jìn)行了實(shí)現(xiàn)，測試結(jié)果說明HADOOP在處理大規(guī)模數(shù)據(jù)時(shí)具有明顯的優(yōu)勢。最后，根據(jù)上述研究工作，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)web輿情發(fā)現(xiàn)系統(tǒng)，該系統(tǒng)集可更改策略的爬蟲與web輿情發(fā)現(xiàn)于一體，具有友