基于Hadoop的上市公司輿情挖掘系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、近年來(lái)，互聯(lián)網(wǎng)的高速發(fā)展和快速普及，使得越來(lái)越多的用戶在網(wǎng)上發(fā)表自己的言論與看法。網(wǎng)絡(luò)信息的載體也越來(lái)越多樣化，從早期的電子郵件、門戶新聞、BBS論壇到現(xiàn)在的博客、微博、社區(qū)、即時(shí)通訊等等方式，網(wǎng)民可以充分利用這些網(wǎng)絡(luò)資源，瀏覽新聞、發(fā)表評(píng)論、轉(zhuǎn)發(fā)他人意見(jiàn)，導(dǎo)致網(wǎng)絡(luò)輿情的發(fā)展和傳播不可控制。對(duì)于上市公司而言，危機(jī)網(wǎng)絡(luò)輿情對(duì)其的影響越來(lái)越嚴(yán)重。一旦企業(yè)發(fā)生了突發(fā)事件，不僅在傳統(tǒng)媒體上進(jìn)行傳播，在互聯(lián)網(wǎng)上更會(huì)以幾何倍數(shù)的蔓延開(kāi)來(lái)。企業(yè)需要監(jiān)

2、控網(wǎng)絡(luò)輿情，需要知道危機(jī)輿情的發(fā)展態(tài)勢(shì)，需要掌握在互聯(lián)網(wǎng)上企業(yè)的形象和名譽(yù)，這與企業(yè)的經(jīng)濟(jì)效益和社會(huì)地位是直接相關(guān)的。
　　傳統(tǒng)的輿情監(jiān)控系統(tǒng)軟件可以實(shí)現(xiàn)上述目的，但現(xiàn)在網(wǎng)絡(luò)資源已是海量數(shù)據(jù)，對(duì)于這種大數(shù)據(jù)的處理，傳統(tǒng)的方式顯得力不從心，效率低下，難以達(dá)到實(shí)時(shí)監(jiān)控。本課題研究開(kāi)發(fā)的基于Hadoop的上市公司輿情挖掘系統(tǒng)，利用Hadoop的分布式海量數(shù)據(jù)處理性能，可以有效解決這一難題，實(shí)現(xiàn)高性能的海量數(shù)據(jù)挖掘，幫助上市公司監(jiān)控網(wǎng)絡(luò)危

3、機(jī)輿情。
　　本系統(tǒng)從數(shù)據(jù)采集、數(shù)據(jù)挖掘、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)展示4個(gè)方面，提供一體化輿情挖掘流程。主要工作如下：
　?。?）利用eTools元搜索工具和Nutch爬蟲(chóng)對(duì)網(wǎng)絡(luò)資源進(jìn)行抓??；
　?。?）使用jsoup、Tika等工具對(duì)網(wǎng)頁(yè)內(nèi)容進(jìn)行提??；
　　（3）整合Lucene和Solr對(duì)網(wǎng)頁(yè)建立索引，提供搜索功能；
　　（4）結(jié)合Hadoop框架和Mahout算法庫(kù)對(duì)海量數(shù)據(jù)進(jìn)行挖掘和機(jī)器學(xué)習(xí)，基于聚類和分類的