基于Spark的輿情分析架構(gòu)研究.pdf

1、輿情分析通過(guò)對(duì)互聯(lián)網(wǎng)海量信息進(jìn)行自動(dòng)抓取、自動(dòng)分類聚類等技術(shù)，形成簡(jiǎn)報(bào)、圖表等分析結(jié)果，為客戶全面掌握群眾思想動(dòng)態(tài)，做出正確輿論引導(dǎo)提供分析依據(jù)。隨著移動(dòng)互聯(lián)網(wǎng)、電子商務(wù)、社交網(wǎng)絡(luò)等互聯(lián)網(wǎng)新興技術(shù)普及和應(yīng)用,互聯(lián)網(wǎng)用戶呈現(xiàn)爆炸性增長(zhǎng)。因此,高效海量數(shù)據(jù)處理架構(gòu)對(duì)輿情分析具有重要研究意義。
　　本文結(jié)合新浪微博，基于大數(shù)據(jù)處理技術(shù)，探討了構(gòu)建基于Spark的輿情分析架構(gòu)的可行性。論文主要做了以下幾方面工作:1、設(shè)計(jì)整體架構(gòu)，搭建Ha

2、doop分布式平臺(tái)對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)和處理，通過(guò)分布式列式數(shù)據(jù)庫(kù)HBase和Lucene相結(jié)合，在滿足海量數(shù)據(jù)存儲(chǔ)的基礎(chǔ)上，提高了數(shù)據(jù)檢索和讀寫性能。2、在數(shù)據(jù)采集模塊，針對(duì)當(dāng)今廣泛使用的模擬登陸和基于API采集方案的缺陷，設(shè)計(jì)一個(gè)高效穩(wěn)定的數(shù)據(jù)采集方案，具體包括通過(guò)內(nèi)存數(shù)據(jù)庫(kù)Redis來(lái)控制待爬隊(duì)列、更新隊(duì)列和已爬集合，在避免重復(fù)采集的同時(shí)能及時(shí)對(duì)數(shù)據(jù)進(jìn)行更新;針對(duì)IP限制問(wèn)題，提出流動(dòng)性的代理池機(jī)制，通過(guò)池中代理不斷調(diào)度更新，使得池

3、中代理能針對(duì)不同網(wǎng)頁(yè)而發(fā)揮其最大功效，同時(shí)保證數(shù)據(jù)抓取的高效性和穩(wěn)定性，提高采集效率。3、為從本質(zhì)上突破Hadoop在文本聚類上的瓶頸，本文在文本聚類模塊中使用基于Spark的改進(jìn)K-means算法實(shí)現(xiàn)。具體包括在預(yù)處理階段，針對(duì)微博特征項(xiàng)比較少的缺點(diǎn)，使用word2vec工具對(duì)特征項(xiàng)進(jìn)行擴(kuò)展;在K值選擇和簇心初始化問(wèn)題上優(yōu)化K-means算法，并將Spark框架應(yīng)用于優(yōu)化的K-means算法，對(duì)文本數(shù)據(jù)進(jìn)行并行處理，使得架構(gòu)在文本聚類

4、上更加高效快捷，從而提高整個(gè)架構(gòu)的性能。4、針對(duì)架構(gòu)提出一種基于資源信息增益的瓶頸檢測(cè)方法。該方法通過(guò)監(jiān)控集群的響應(yīng)滿意度(Response Satisfaction，RS)來(lái)發(fā)現(xiàn)瓶頸的出現(xiàn)，然后通過(guò)資源使用率和響應(yīng)滿意度樣本計(jì)算各類資源的信息增益，以確定具體的瓶頸資源。
　　輿情分析作為愈發(fā)強(qiáng)大的社會(huì)建設(shè)力量，網(wǎng)絡(luò)輿情已經(jīng)成為一股不容忽視的社會(huì)力量。故對(duì)網(wǎng)絡(luò)輿情的分析對(duì)社會(huì)發(fā)展具有重要意義其在應(yīng)用和研究上都有著巨大的前景，故對(duì)輿