面向短消息的文本聚類研究.pdf

1、在網(wǎng)絡(luò)信息時(shí)代，隨著通信技術(shù)的不斷發(fā)展，即時(shí)通信得到了廣泛應(yīng)用，產(chǎn)生了巨大的短消息數(shù)據(jù)，短消息數(shù)據(jù)中蘊(yùn)藏了大量有用信息資源，如何對短消息數(shù)據(jù)進(jìn)行采集、存儲、分析和挖掘，對于信息管理和信息檢索等具有重要意義。
　　 短消息具有動(dòng)態(tài)性、錯(cuò)綜復(fù)雜性、非規(guī)范性、大規(guī)模性等特點(diǎn)，這些給數(shù)據(jù)挖掘帶來極大挑戰(zhàn)。本文以短消息挖掘?yàn)楸尘?，研究短消息聚類相關(guān)技術(shù)，涉及短消息預(yù)處理、合成會話、相似性度量以及聚類算法的研究，其中重點(diǎn)對相似性度量和聚類算

2、法進(jìn)行了研究，并試圖提高聚類準(zhǔn)確性和聚類算法的可伸縮性，為聚類輸出提供實(shí)際應(yīng)用。研究的主要內(nèi)容如下：
　　 首先提出了短消息文本聚類場景系統(tǒng)。聚類系統(tǒng)包括數(shù)據(jù)接收采集、歸檔消息數(shù)據(jù)庫、聚類節(jié)點(diǎn)、輸出節(jié)點(diǎn)四部分。本文描述了聚類場景系統(tǒng)的結(jié)構(gòu)體系，分析各個(gè)部分的功能，其中重點(diǎn)研究了接收采集部分需要處理的問題：如何采集，能否按時(shí)間段劃分消息記錄，如何合成會話等。該系統(tǒng)的提出為本文展開短消息聚類相關(guān)技術(shù)研究提供了基礎(chǔ)。
　　 接

3、著提出了基于語義的短文本相似性度量方法。本文的相似性度量方法基于詞法分類器Hownet，通過Hownet計(jì)算詞語的語義距離，得到詞語相似度，并可結(jié)合特征詞權(quán)重一起計(jì)算文本相似度。該方法能夠解決短文本的關(guān)鍵詞稀疏帶來的相似度偏離問題。
　　 針對短消息的文本聚類算法，本文提出了基于頻繁詞集和Ant-Tree的混合聚類方法SMHC。基于頻繁詞集的文本聚類算法執(zhí)行效率很高，且可以適應(yīng)高維的大規(guī)模數(shù)據(jù)。Ant-Tree算法得到的聚簇更接

4、近于數(shù)據(jù)的真實(shí)分類，且算法基于樹結(jié)構(gòu)，執(zhí)行效率較高。基于頻繁詞集和Ant-Tree的混合聚類方法，利用基于頻繁詞集聚類算法處理文本數(shù)據(jù)的效率優(yōu)勢，生成初始聚簇；計(jì)算輪廓系數(shù)來消除初始聚簇中的重疊，在此基礎(chǔ)上再通過Ant-Tree算法繼續(xù)精化，最終得到高質(zhì)量的結(jié)果輸出。而且聚類結(jié)果保留了樹狀層級結(jié)構(gòu)，為應(yīng)用提供了更豐富的信息。
　　 最后設(shè)計(jì)了應(yīng)用于聊天軟件中的短消息文本挖掘系統(tǒng)，介紹了該系統(tǒng)的總體結(jié)構(gòu)，闡述了各單元的功能結(jié)構(gòu)與設(shè)