網(wǎng)絡(luò)輿情熱點(diǎn)主題詞提取研究.pdf

1、熱點(diǎn)主題詞提取技術(shù)是網(wǎng)絡(luò)輿情熱點(diǎn)話題發(fā)現(xiàn)的基礎(chǔ),即利用計(jì)算機(jī)對(duì)海量的網(wǎng)絡(luò)信息進(jìn)行處理并提取熱點(diǎn)主題詞,能給進(jìn)一步進(jìn)行與網(wǎng)絡(luò)輿情相關(guān)的熱點(diǎn)話題挖掘提供很好的利用結(jié)果；另外,它也是用來研究提高信息檢索速度,或作為準(zhǔn)確抽取自動(dòng)摘要的有效方法。本文針對(duì)傳統(tǒng)熱點(diǎn)主題詞提取技術(shù)中的噪音詞庫(kù)的建立和熱點(diǎn)主題詞的判定展開了研究,提出了相應(yīng)的改進(jìn)算法,并對(duì)熱點(diǎn)
　　 關(guān)鍵詞的提取問題進(jìn)行了有效的探討。
　　 首先,本文對(duì)網(wǎng)絡(luò)輿情熱點(diǎn)主題詞

2、提取技術(shù)的現(xiàn)狀和發(fā)展進(jìn)行了簡(jiǎn)要的回顧。文中分別對(duì)網(wǎng)絡(luò)輿情信息挖掘的相關(guān)技術(shù)和主題詞提取算法作了分析。網(wǎng)絡(luò)輿情信息挖掘主要包括信息來源和信息采集等部分,輿情信息分析關(guān)鍵技術(shù)包括話題檢測(cè)與跟蹤和文本傾向性分析等。主題詞提取算法中介紹了常用的幾種主題詞提取算法并對(duì)其進(jìn)行比較分析,包括基于語(yǔ)義的主題詞提取等。
　　 然后,本文著重研究了基于多級(jí)過濾的主題詞提取算法,詳細(xì)描述了其整體流程圖,通過分析其相關(guān)技術(shù)和整體邏輯結(jié)構(gòu),針對(duì)傳統(tǒng)的基于

3、詞頻的噪音詞提取方法和主題詞提取方法的缺點(diǎn),做了進(jìn)一步的改進(jìn),主要分為改進(jìn)的噪音詞提取模塊和熱點(diǎn)主題詞提取模塊,把概率論與數(shù)理統(tǒng)計(jì)中方差的概念引入到對(duì)噪音詞提取的方法中,以此提出了基于聯(lián)合方差的噪音詞提取方法,并詳細(xì)描述了改進(jìn)后噪音詞提取算法的步驟和流程圖。同時(shí)為了進(jìn)一步提高熱點(diǎn)主題詞的可信度,改進(jìn)傳統(tǒng)的對(duì)熱點(diǎn)主題詞的判定方法,提出了基于關(guān)注度的熱點(diǎn)主題詞提取方法,并把熱點(diǎn)主題詞提取的實(shí)驗(yàn)結(jié)果與新浪網(wǎng)中的熱點(diǎn)新聞標(biāo)題進(jìn)行驗(yàn)證比較。實(shí)驗(yàn)證

4、明,本文改進(jìn)的算法具有穩(wěn)定性和高效性,并具有一定的可信度。
　　 此外,分別使用大規(guī)模數(shù)據(jù)語(yǔ)料和真實(shí)新聞?wù)Z料對(duì)本文提出的基于聯(lián)合方差的噪音詞提取方法和基于主題詞關(guān)注度的提取方法進(jìn)行了實(shí)驗(yàn),并對(duì)測(cè)試結(jié)果進(jìn)行了比較和分析。實(shí)驗(yàn)結(jié)果表明,本文改進(jìn)的基于多級(jí)過濾的主題詞提取方法對(duì)于處理新聞?wù)Z料熱點(diǎn)主題詞發(fā)現(xiàn)的問題具有一定的優(yōu)勢(shì)。
　　 本文最后對(duì)論文所做的工作進(jìn)行了總結(jié)與評(píng)述,并提煉了熱點(diǎn)主題詞提取中值得繼續(xù)研究的若干問題,為以