新詞識別和熱詞排名方法研究.pdf

1、互聯(lián)網(wǎng)的發(fā)展極大地方便了人們進行信息交換，但海量信息產(chǎn)生的同時也給自然語言處理、詞典編纂等帶來了挑戰(zhàn)。如何從海量信息中挖掘出近期的熱點及有用信息已經(jīng)越來越重要，在這個過程中不可避免的會涉及到新詞和熱詞的挖掘。本文主要研究的是新詞識別和熱點詞語的抽取。
　　目前對于新詞的定義還沒有統(tǒng)一的說法。本文將新詞定義為未登錄在詞典中的詞，并且本文將新詞分為時間詞和量詞、命名實體、普通新詞三類。由于普通新詞在新詞中占的比重最大，所以本文主要的研

2、究對象是普通新詞。
　　本文提出了一種統(tǒng)計與規(guī)則結(jié)合的新詞識別方法。該方法從詞語緊密度和詞語的自由運用度兩個方面來考量詞語，在統(tǒng)計學中表現(xiàn)為互信息和左右信息熵兩個統(tǒng)計量。該方法首先對語料庫進行預處理，預處理后使用后綴數(shù)組來統(tǒng)計重復串，然后計算重復串的互信息和左右信息熵的值，并用本文提出的Score評價函數(shù)進行詞語邊界確定，得到候選詞組；接著使用垃圾詞典來過濾噪音串，最后使用基準詞典過濾得到新詞。本文方法的準確率雖有所降低，但召回率

3、有了很大的提高，其F值平均為70％，相較目前較好的方法提高了1%~5%。
　　此外，本文還對熱詞的排名進行了研究。本文將基于用戶投票的排名方法用于熱詞排名，通過貝葉斯平均和牛頓冷卻定律來量化詞語的熱度，并通過兩個值的優(yōu)缺點比較，提出了將兩個值取權(quán)重的方法得到了一種更合理的量化值。本文由此通過熱度排行來識別出每日熱詞。并且本文還提出一種熱詞評價標準，為目前混亂的網(wǎng)絡熱詞評價標準做了一個初步的統(tǒng)一。實驗證明，這種量化方法是可行有效的。