中文新詞檢測與分析.pdf

1、本文在基于詞的串頻統(tǒng)計(jì)基礎(chǔ)上，利用語言學(xué)的知識(shí)把新詞檢測問題進(jìn)行分類細(xì)化。首先利用熟語料訓(xùn)練得到垃圾串詞典、垃圾頭詞典、垃圾尾詞典、詞綴字詞典以及獨(dú)立詞概率等參數(shù)，然后針對(duì)不同模式的新詞采取不同的垃圾串過濾算法，提高了新詞識(shí)別的性能。在對(duì)400張網(wǎng)頁的實(shí)驗(yàn)中，對(duì)頻度大于1的新詞進(jìn)行識(shí)別，準(zhǔn)確率是80.4％，召回率是81.8％?！　⌒略~的特征包括字面特征、分布特征和語義特征等方面。對(duì)新詞特征的分析，已有的研究并不多，而新詞的特征是認(rèn)識(shí)新

2、詞的一條重要途徑。本文的新詞檢測基于大規(guī)模的因特網(wǎng)語料，因此可以獲取豐富的上下文信息。在此基礎(chǔ)上，我們進(jìn)行了新詞特征的挖掘，從串頻、互信息和相似度等角度主要對(duì)新詞的空間分布規(guī)律和時(shí)間分布規(guī)律進(jìn)行了分析。　　提出了一種自擴(kuò)展獲取縮略語詞典的方法。以識(shí)別的新詞以及之前獲取的龐大的短語庫為數(shù)據(jù)基礎(chǔ)，利用語言學(xué)的知識(shí)和無監(jiān)督學(xué)習(xí)的方法，得到短語的語言模型、短語到詞的對(duì)齊模型等參數(shù)，以此來度量一組縮略語和源短語對(duì)有效的程度，最終得到一部縮略語詞