基于神經(jīng)網(wǎng)絡(luò)的中文詞表示方法研究.pdf

1、自然語言處理是計算機科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個重要方向，詞的語義表示是自然語言處理中的基礎(chǔ)工作，傳統(tǒng)的 one-hot表示方法，把每個詞表示為一個很長的01向量，這種方法僅僅將詞符號化，不能捕捉任何語義信息。隨著深度學(xué)習(xí)和表示學(xué)習(xí)的發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的分布式詞表示技術(shù)得到了越來越多的關(guān)注。分布式詞表示，即詞嵌入，將詞表示為低維實值向量，這種方法不僅可以捕獲詞的語義信息，同時也能解決詞的歧義問題。
　　現(xiàn)有的中文詞表示技術(shù)大多直

2、接沿用英文的解決思路，直接基于詞的層面建模。然而不同于英文，中文詞常常由多個字組成，中文詞的語義信息也通常由詞的內(nèi)部字及其上下文共同決定?？紤]到中文的特點，最近的一些研究也證明了詞的內(nèi)部字對中文詞表示有很好的提升作用。本文同時考慮詞的內(nèi)部字及其上下文字信息，提出了一個新的基于字詞聯(lián)合訓(xùn)練的中文詞表示模型ECWE。該模型通過對加強對漢字的有效建模，使得漢字之間以及漢字同詞之間的關(guān)系得到加強，同時豐富了詞的上下文信息，從而使得詞表示蘊含更多