智能信息處理技術(shù)在互聯(lián)網(wǎng)輿情分析中的應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)絡(luò)的快速發(fā)展，互聯(lián)網(wǎng)日漸成為輿情產(chǎn)生和傳播的主要場所。為了加強(qiáng)互聯(lián)網(wǎng)管理和監(jiān)控，互聯(lián)網(wǎng)輿情信息的匯集整理與分析成為目前各級政府部門急需解決的現(xiàn)實(shí)問題。輿情監(jiān)控分析系統(tǒng)可以實(shí)現(xiàn)海量互聯(lián)網(wǎng)輿情自動(dòng)實(shí)時(shí)的監(jiān)測分析，有效地解決傳統(tǒng)人工方式對輿情監(jiān)測的實(shí)施難題。在諸多互聯(lián)網(wǎng)輿情智能分析功能中，輿情熱點(diǎn)自動(dòng)發(fā)現(xiàn)和分析技術(shù)的研究和應(yīng)用是其中重要的一環(huán)，可以幫助用戶及時(shí)快捷地了解和掌握互聯(lián)網(wǎng)熱點(diǎn)，為掌握社情民意起到推動(dòng)作用。 研究了輿

2、情熱點(diǎn)的自動(dòng)發(fā)現(xiàn)及深入分析技術(shù)，本文針對輿情熱點(diǎn)自動(dòng)檢測的實(shí)際應(yīng)用，提出了一個(gè)實(shí)用的輿情熱點(diǎn)動(dòng)態(tài)檢測算法。該算法通過引入如下幾個(gè)步驟提高了輿情熱點(diǎn)檢測的效果：在主題排序方面，綜合考慮了主題的時(shí)間和數(shù)量特性，為某一時(shí)刻的每個(gè)主題給出一個(gè)合理得分值：引入主題合并和調(diào)整的機(jī)制，克服同一個(gè)主題被誤分為多個(gè)小主題的問題；引入主題內(nèi)報(bào)道淘汰的機(jī)制，避免主題內(nèi)容過于寬泛;在主題描述方面，提出了將特征詞和報(bào)道標(biāo)題相結(jié)合的方法。實(shí)驗(yàn)表明，在實(shí)際應(yīng)用場景中

3、，本文所述方法明顯提高了輿情熱點(diǎn)的檢測效果。 在多文檔的自動(dòng)關(guān)鍵詞提取方面，本文提出了結(jié)合詞性規(guī)則和統(tǒng)計(jì)信息的方法，有效利用多個(gè)文檔所反映的的全局性的重要信息，同時(shí)又盡可能的過濾掉信息冗余。該方法首先基于詞性標(biāo)注結(jié)果找出名詞、動(dòng)詞、名詞短語作為候選關(guān)鍵詞；然后過濾部分候選關(guān)鍵詞，并計(jì)算其余候選關(guān)鍵詞的權(quán)重；最后根據(jù)用戶所需個(gè)數(shù)給出最終關(guān)鍵詞列表。在中文測試集上的實(shí)驗(yàn)證明了該方法的有效性。 在輿情褒貶分析方面，本文分別在如

4、下三個(gè)方面進(jìn)行了研究。一是提出了基于搜索引擎摘要和基于同義詞詞林的兩種詞匯褒貶計(jì)算方法：其中前者利用搜索引擎摘要中的詞匯共現(xiàn)關(guān)系提高詞匯褒貶判斷的準(zhǔn)確率：后者利用同義詞詞林中的詞群關(guān)系根據(jù)種子詞匯擴(kuò)展褒貶義詞詞典。二是分析了基于褒貶義詞詞典和基于機(jī)器學(xué)習(xí)的兩種文檔褒貶分析方法：其中前者集成了HowNet、同義詞詞林以及領(lǐng)域褒貶義詞詞典，具有較高的準(zhǔn)確率；后者則利用機(jī)器學(xué)習(xí)方法從訓(xùn)練文檔中學(xué)習(xí)褒貶特征，具有較好的總體性能。三是提出了基于詞