推特中的非特定事件檢測方法研究.pdf

1、社交網(wǎng)絡(luò)的興起和發(fā)展帶給人們生活極大的便利和變化。社交網(wǎng)絡(luò)網(wǎng)站一般擁有百萬以上的注冊用戶，全球范圍內(nèi)著名的社交網(wǎng)絡(luò)網(wǎng)站有臉書(FaceBook)、推特(Twitter)、微博等。社交網(wǎng)絡(luò)中傳播著大量有用信息，而且推特等社交網(wǎng)站對一般用戶開放了API以方便獲取數(shù)據(jù)，這些因素使得近年來基于推特的數(shù)據(jù)挖掘研究迅速增加。事件檢測是其中的一個(gè)熱門研究，可分為特定事件檢測和非特定事件檢測。本文基于推特平臺(tái)以英語文本為研究對象，以非特定事件檢測為研究

2、課題。重點(diǎn)研究了短文本語義相似度計(jì)算方法、非特定事件檢測方法和在線非特定事件檢測系統(tǒng)實(shí)現(xiàn)。本文主要在以下幾個(gè)方面進(jìn)行研究和創(chuàng)新：
　　(1)提出基于知識(shí)和語料庫結(jié)合的短文本相似度計(jì)算方法。該方法基于改進(jìn)詞語語義相似度計(jì)算方法和一般短文本語義相似度計(jì)算方法。改進(jìn)詞語相似度方法通過一種選取融合的策略結(jié)合兩種詞語語義相似度，結(jié)合兩種方法的優(yōu)點(diǎn)以彌補(bǔ)單個(gè)方法的不足，發(fā)現(xiàn)更多文本中詞語的語義聯(lián)系，提升相似度的準(zhǔn)確性。本文使用大量測試語料集對

3、多種算法進(jìn)行對比測試分析，改進(jìn)方法在詞語相似度和短文本相似度結(jié)果上比其他方法更貼近人工標(biāo)記結(jié)果。
　　(2)提出基于文本增量聚類的非特定事件檢測方法。主要改進(jìn)了事件檢測中的增量短文本聚類方法，改進(jìn)方法是一種包含了貪婪聚類、重聚類、合并類、類刪減和可選的語義相似度計(jì)算的方法。它針對現(xiàn)有聚類算法缺乏語義相似性計(jì)算、增量聚類的順序影響性和聚合效果差的問題進(jìn)行改進(jìn)。此外提出一種基于聚類結(jié)果特征的事件識(shí)別方法。在真實(shí)推文數(shù)據(jù)測試中改進(jìn)聚類方

4、法比原方法在聚類效果和順序影響方面有較大提升，事件檢測方法的召回率和準(zhǔn)確性也滿足應(yīng)用需求。
　　(3)設(shè)計(jì)實(shí)現(xiàn)了基于推特的非特定事件檢測系統(tǒng)。本文對非特定事件檢測系統(tǒng)進(jìn)行了編程實(shí)現(xiàn)，主要包括語義相似度計(jì)算、非特定事件檢測、文本預(yù)處理和圖形界面。該系統(tǒng)為了處理社交網(wǎng)絡(luò)的大量數(shù)據(jù)信息，針對各個(gè)模塊分別提出了優(yōu)化方法。在使用真實(shí)推文對系統(tǒng)進(jìn)行的功能測試和優(yōu)化性能對比測試中，該系統(tǒng)功能正常，優(yōu)化方法使模塊性能有較大提升，使系統(tǒng)能滿足在線事