基于字詞對齊的中文字詞向量表示方法.pdf

1、詞語是構成文本的最小語義單元，很多自然語言處理任務都會涉及詞語表示的問題。詞語表示的方法最常見的是獨熱表示.然而此方法存在稀疏問題，且不能捕捉詞語間的語義聯(lián)系。以表示學習為基礎的詞語表示旨在用稠密的低維向量來表示詞語的語義信息，其中分布式語義表示是表示學習中最常見的詞語表示方法。這種方法得到的詞向量在很多自然語言處理問題上取得了成功。借鑒于英文的詞向量表示方法，一些學者對中文詞向量的表示進行了研究。最近的一些研究表明，中文詞語內部的漢字

2、也具有豐富的語義信息，基于字詞聯(lián)合學習的模型在一些中文自然語言處理任務上取得了一定的成功。然而現(xiàn)有的處理方法均沒有考慮詞語內部漢字對詞語語義貢獻的差異性，使得學習的詞向量在一些任務上的表現(xiàn)不盡如人意。本文基于此問題，提出了一種計算組成詞語的漢字對詞語的語義貢獻的方法，這種方法利用了其他語言的語義信息。我們使用了這種基于相似度的方法來聯(lián)合學習字詞向量。并且通過實驗，這種方法對漢字消歧和識別非語義可組合詞也有很好的效果。
　　本文具體

3、工作如下:
　　(1)本文根據(jù)中文的特點，提出了一種基于字詞相似度的字詞向量學習模型。該方法在詞語訓練過程中，計算了不同內部漢字對詞語的語義貢獻，更好地對中文的詞語進行建模，使?jié)h字對學習到的詞向量起到很好的平滑效果，并且通過字的關聯(lián)使詞的上下文信息更加豐富。
　　(2)與傳統(tǒng)的基于上下文聚類的漢字消歧方法不同，本文創(chuàng)新地融入了英文這種富信息語言的優(yōu)勢，提出了一種新的方法來對漢字進行消歧。這種方法利用了外部資源，使用了類似K-