大詞匯量手語詞語分割的研究.pdf

1、中國手語環(huán)境下的自然語言處理是人工智能的一個重要分支，而手語環(huán)境下的漢語自動分詞是中國自然語言處理的一項基礎(chǔ)性工作，也是中文信息處理的一個重要問題，同時也是實現(xiàn)自然語言和手語語言互譯的一個技術(shù)難點。 中國手語環(huán)境下的分詞方法和通用的分詞方法差異很大，本文在分析手語詞匯和手語環(huán)境的基礎(chǔ)上，進行了排歧問題、手語詞語分割問題等方面的研究。 本文提出了一種基于統(tǒng)計模型和知識庫相結(jié)合歧義消減算法，即一種基于詞的二元模型的廣度似然比

2、GLR算法，該算法結(jié)合了互信息MI模型和似然比LR模型的優(yōu)點，不但減少了排歧過程的計算量，而且解決了數(shù)據(jù)稀疏敏感的問題。實驗表明，該方法可有效的進行歧義消減。 本文關(guān)于手語詞語分割的問題主要做了兩方面的工作： 手語詞典重構(gòu)問題：針對中國手語的特點設(shè)計了適應(yīng)于手語環(huán)境的字典重構(gòu)策略，首先根據(jù)詞典中無重復(fù)的手語詞的首字進行HASH散列，然后首字相同的詞語聚類存儲。此結(jié)構(gòu)不但使首字相同的詞語聚類，而且提高了詞語查找匹配的速度。

3、 手語詞分割的算法方面：提出了一種漸進式長度優(yōu)先的正向匹配和逆向匹配分詞算法。該方法不僅極大縮減了詞語查找范圍，且大大的減少了手語詞查找和匹配的次數(shù)，提高了系統(tǒng)的性能，保證了系統(tǒng)的實時性。 本文設(shè)計和實現(xiàn)了大詞匯量手語詞的“漢語自動分詞系統(tǒng)”，該系統(tǒng)包括Web文本的抓取和解析模塊、語料預(yù)處理模塊、語料切分模塊、歧義字段識別和消減等模塊。通過用大量的不同類型的語料作為測試集，做了封閉式和開放式的實驗，驗證了系統(tǒng)的性能。與人