網(wǎng)絡(luò)輿情文摘生成技術(shù)中相似度與聚類的研究.pdf

1、網(wǎng)絡(luò)輿情文摘生成技術(shù)成為近年來研究的熱點，這些技術(shù)一向是國內(nèi)外信息工作者關(guān)注的領(lǐng)域。輿情文摘生成系統(tǒng)是網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)的一個子系統(tǒng)，輿情監(jiān)控系統(tǒng)的核心技術(shù)在于輿情分析引擎，涉及的最主要的技術(shù)包括文本分類、聚類、觀點傾向性識別、主題檢測與跟蹤、自動摘要等計算機文本信息內(nèi)容識別技術(shù)。
　　 課題在黑龍江東北網(wǎng)絡(luò)臺開發(fā)黑龍江省網(wǎng)絡(luò)宣傳輿情監(jiān)控系統(tǒng)的項目下完成，實現(xiàn)了互聯(lián)網(wǎng)輿情信息文摘生成中的相似度計算和聚類兩個技術(shù)難點。重點闡述了相似

2、度算法的優(yōu)化，并進行了設(shè)計與測試，利用互聯(lián)網(wǎng)數(shù)據(jù)進行了驗證。選擇了不同聚類算法，利用實驗驗證了所選聚類算法的合理性。
　　 論文論述了互聯(lián)網(wǎng)輿情文摘生成技術(shù)中的相似度計算、聚類生成過程和文摘句的抽取。通過基于詞頻相似度計算、基于依存結(jié)構(gòu)和增加語義依存結(jié)構(gòu)的相似度的計算的論述，說明了相似度計算方法的不斷改進，其粘確度越來越高，它的準確性將直接影響句子的壓縮、合并、以及最后的生成。文本的聚類是文摘生成系統(tǒng)中承接相似度計算和文摘抽取生