漢語詞的分布式表示學習研究.pdf

1、詞的表示問題是自然語言處理中的關(guān)鍵問題之一。詞的表示方法是否適當,直接影響著句法分析、語義表示和理解等任務的建模方法,也影響著信息檢索、問答系統(tǒng)等應用系統(tǒng)的準確性和魯棒性。特別是當面臨大規(guī)模真實中文數(shù)據(jù)時,詞的數(shù)量大,詞表示方法的好壞直接影響著系統(tǒng)的運算效率和性能。
　　本文將目前已有的一些中文詞的表示策略歸納為三類:傳統(tǒng)的0-1表示、基于潛在語義信息的分布式的表示以及基于神經(jīng)語言模型的分布式表示。0-1表示是中文信息處理中使用最

2、為廣泛的表示。很多基于最大熵、CRF模型等的漢語組塊分析系統(tǒng)便是直接采用0-1表示來形式化詞的特征,這種表示雖然簡單,但是形成的特征矩陣維度非常高,容易導致特征稀疏。為了彌補這一缺點,后兩種表示策略將詞表示成一個低維的實值向量。區(qū)別在于,基于潛在語義信息的分布式的表示主要是借鑒一些矩陣分解技術(shù),而基于神經(jīng)語言模型的分布式表示則是直接將詞表示向量看作是神經(jīng)網(wǎng)絡中的一個隱層。
　　本文主要關(guān)注基于神經(jīng)網(wǎng)絡的詞表示方法及表示學習。深入探

3、究了Bengio(2003)提出的神經(jīng)語言模型具體在漢語詞的表示學習中的實現(xiàn)過程。在山西大學500萬漢語分詞語料上學習得到了漢語詞的和字的分布式表示矩陣,并進行了理論和表示向量數(shù)值特征上的分析。結(jié)果表明,矩陣中實值表示的數(shù)值范圍隨著表示學習算法迭代次數(shù)的增加而增加,這與 Turian(2010)得到的英文詞表示學習中的現(xiàn)象是一致的。本文從理論上初步分析了這一現(xiàn)象的原因,并給出了表示矩陣無界的一個充分條件。
　　本文研究了詞的義項與

4、向量表示之間的關(guān)系。選取了中文和英文中的一些具有不同義項的典型詞,將它們的實值向量表示繪制成不同指標的直方圖。通過分析,本文初步認為義項越多的詞,對應的直方圖的“峰”可能越多。并且,在漢語和英文中均表現(xiàn)出類似的現(xiàn)象。
　　為了體現(xiàn)基于潛在語義的分布式的詞表示與基于神經(jīng)語言模型的分布式詞表示的區(qū)別。本文分別在兩種表示上進行詞的聚類實驗。我們給出幾個典型漢語詞的前10近鄰詞,聚類結(jié)果表明,基于神經(jīng)語言模型的分布式詞表示的詞聚類效果要明

5、顯優(yōu)于基于潛在語義的分布式的表示。
　　本文在漢語基本塊邊界識別任務上對比分析了詞的0-1表示以及基于神經(jīng)語言模型的分布式詞表示對模型性能的影響。在[-2,2]窗口使用0-1詞特征的基本塊邊界識別模型中,邊界識別的F值為38.72％;而上述模型中詞特征替換為分布式詞特征后,邊界識別的 F值提高到70.51%;將表示矩陣進行尺度變換后,邊界識別的F值提高到70.74%。在使用詞特征[-2,2]+詞性特征的模型中,使用詞的0-1特征與