術(shù)語自動抽取技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，術(shù)語在各個領(lǐng)域?qū)映霾桓F。術(shù)語自動提取日益受到人們的關(guān)注，已經(jīng)成為自然語言處理的一項重要任務(wù)，可以應(yīng)用到本體構(gòu)建、專業(yè)搜索、文本分類等各個領(lǐng)域。因此，術(shù)語抽取研究是信息處理領(lǐng)域的基礎(chǔ)性課題。
　　術(shù)語是為有效表達(dá)領(lǐng)域知識而產(chǎn)生的完整的語言單位，因此需要計算其單元度。本文重點研究了單元度的計算方法。計算詞語的單元度有很多種統(tǒng)計模型，我們在分析各種模型優(yōu)缺點的基礎(chǔ)上，綜合了幾個模型的優(yōu)點，提出一種新的術(shù)語抽取方法，

2、實現(xiàn)優(yōu)勢互補，從而提高了準(zhǔn)確率和召回率。
　　本文的研究工作主要包括以下幾個方面：
　　第一，詳細(xì)分析了術(shù)語在文本中的使用特點，并對已有的各種術(shù)語抽取方法及其各自的優(yōu)缺點進(jìn)行了分析和比較。
　　第二，為了能有效抽取低頻詞匯，選用了似然比方法。但該方法抽取準(zhǔn)確率偏低。為了解決這個問題，本文提出將似然比的抽取結(jié)果用C-value進(jìn)行處理。兩者相結(jié)合，在保證似然比方法高召回率的前提下，也提高了抽取的準(zhǔn)確率。實驗證明，這兩種方

3、法的結(jié)合是有效的。
　　第三，在術(shù)語提取的特征運用上，既考慮了術(shù)語的內(nèi)部結(jié)合緊密特性，又考慮了術(shù)語的邊界自由特性，提出將改進(jìn)似然比方法抽取結(jié)果與信息熵抽取結(jié)果求并集的策略。實驗證明，在術(shù)語提取中集成多方面信息，可以取得更好的效果。
　　第四，所用的方法完全基于統(tǒng)計，與語言無關(guān)，所以理論上可以對各種語言的語料進(jìn)行抽取。實驗語料為中英文混合語料，實驗證明，該方法能有效處理中英文混合語料。
　　本文設(shè)計并實現(xiàn)的術(shù)語自動抽取系