面向全文標注的未登錄詞語義預(yù)測研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的普及和時代的發(fā)展，大量新生詞匯和網(wǎng)絡(luò)用語不斷涌現(xiàn)，隨之而來，未登錄詞的規(guī)模也呈現(xiàn)逐年上升的趨勢。未登錄詞是在語料中出現(xiàn)而未收錄在詞典中的詞語，大量涌現(xiàn)的未登錄詞給自然語言處理領(lǐng)域眾多任務(wù)帶來極大挑戰(zhàn)。因此，針對未登錄詞的處理應(yīng)該引起自然語言處理領(lǐng)域研究人員足夠的重視。
　　目前，關(guān)于未登錄詞處理的任務(wù)主要包括未登錄詞識別、未登錄詞詞性預(yù)測和未登錄詞語義預(yù)測這三部分。對未登錄詞識別和詞性預(yù)測的相關(guān)研究相對較多，而專門針對

2、未登錄詞語義預(yù)測處理任務(wù)的研究則較少。本文主要專注于漢語未登錄詞的語義預(yù)測研究。總結(jié)前人關(guān)于漢語未登錄詞語義預(yù)測相關(guān)研究，發(fā)現(xiàn)在對漢語未登錄詞進行語義預(yù)測過程中主要基于兩類特征，分別是未登錄詞內(nèi)部特征和外部特征。其中未登錄詞的內(nèi)部特征主要是指未登錄詞的組成成分和詞性，外部特征主要是指未登錄詞在語料中的上下文。
　　本文的研究是基于已有研究基礎(chǔ)之上的。前人的漢語未登錄詞語義預(yù)測模型主要基于未登錄詞的內(nèi)部特征，然而相關(guān)研究表明未登錄詞

3、的外部特征對于漢語未登錄詞的語義預(yù)測也是有價值的。本文將未登錄詞的內(nèi)部特征和外部特征進行結(jié)合，分別設(shè)計了兩種語義預(yù)測模型，即基于詞向量的漢語未登錄詞語義預(yù)測模型和基于百度百科的漢語未登錄詞語義預(yù)測模型，用于漢語未登錄詞語義預(yù)測研究。經(jīng)過對比實驗，分析了前人模型和上述兩種模型在漢語未登錄詞語義預(yù)測方面的優(yōu)缺點，結(jié)合各模型的預(yù)測優(yōu)勢，設(shè)計了一種級聯(lián)模型，用于漢語未登錄詞語義預(yù)測工作，實驗結(jié)果驗證了方法的有效性。
　　本文在此基礎(chǔ)上，實