有關(guān)漢語詞類分析的若干問題研究.pdf

1、在自然語言文語料庫的較高水平分析中,自動的詞類分析是非常重要的組成部分.其中一個重要問題是,當(dāng)詞用于具體的上下文中時,獲得正確的詞類分析.提高詞類分析的精確率,將導(dǎo)致更好的機(jī)器翻譯系統(tǒng),信息系統(tǒng),等等.該文提出一種基于約束規(guī)則與無監(jiān)督學(xué)習(xí)的詞類分析策略.該方法開始于獨(dú)立于語料庫的手工制作的約束規(guī)則集合,通過無監(jiān)督學(xué)習(xí),學(xué)習(xí)約束規(guī)則所使用的一些約束條件.同時,使用未進(jìn)行詞類加標(biāo)的語料庫,其中所有詞匯項(xiàng)已被標(biāo)注具有所有可能的詞法分析,評價由

2、存在歧義的上下文所獲取的約束,來消除其它的詞法分析歧義.在整個實(shí)現(xiàn)過程中,未以犧牲查全率為代價來減少詞類歧義,而查準(zhǔn)率相應(yīng)提高.該方法可有效地完成漢語文本的自動詞類分析,基于分析過程所提供的正確知識信息,可順利進(jìn)行其它相關(guān)處理過程.同時,建立了漢語詞類分析中知識體系的架構(gòu).其中,包括漢語電子詞典的建立、語料庫構(gòu)建以及詞類分類表的制定.漢語電子詞典在整個知識庫體系當(dāng)中處于基礎(chǔ)性的位置,是實(shí)現(xiàn)詞類分析的最為重要的知識源,也是必不可少的資源.