基于免疫學(xué)原理的詞表示及其應(yīng)用研究.pdf

1、自然語(yǔ)言處理研究主要應(yīng)用機(jī)器學(xué)習(xí)方法，需要對(duì)詞進(jìn)行數(shù)學(xué)表示。詞表示就是采用數(shù)學(xué)形式用詞的屬性對(duì)詞進(jìn)行的表示，在現(xiàn)有研究中，詞一般表示成向量，向量的每一維對(duì)應(yīng)詞的屬性。詞表示的學(xué)習(xí)可以事先獨(dú)立于具體任務(wù)和模型，一旦詞表示學(xué)習(xí)完畢，學(xué)習(xí)到的詞表示可以共享給其他研究人員并整合到現(xiàn)有的自然語(yǔ)言處理研究中。詞表示對(duì)自然語(yǔ)言處理研究至關(guān)重要，已廣泛應(yīng)用于詞相似度計(jì)算、關(guān)系相似度計(jì)算、詞性標(biāo)注、句法分析、命名實(shí)體識(shí)別、情感分析等自然語(yǔ)言處理任務(wù)。

2、r>　　詞表示方法的理論根源是分布式語(yǔ)義假設(shè)，即出現(xiàn)在相同上下文的詞傾向于表達(dá)相似的意義。所以現(xiàn)有詞表示研究大多基于大規(guī)模語(yǔ)料，應(yīng)用統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法從詞的上下文中學(xué)習(xí)詞的向量表示。由于大多數(shù)統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法缺乏持續(xù)學(xué)習(xí)能力，詞表示只能是在給定規(guī)模的語(yǔ)料上一次性學(xué)習(xí)完成。所以現(xiàn)有詞表示方法最大的問(wèn)題就是缺乏持續(xù)學(xué)習(xí)能力，適應(yīng)性較差，制約了詞表示的進(jìn)一步應(yīng)用。本文借鑒人體適應(yīng)性免疫學(xué)原理，構(gòu)建多詞主體自治學(xué)習(xí)模型從語(yǔ)料中學(xué)習(xí)詞表示，試圖解決

3、這一問(wèn)題。首先，本文系統(tǒng)地分析了語(yǔ)言和免疫系統(tǒng)的一致性，奠定本文研究的理論基礎(chǔ)；然后，基于一致性，把詞模擬成免疫細(xì)胞，引入克隆選擇原理和免疫網(wǎng)絡(luò)理論構(gòu)建多詞主體自治學(xué)習(xí)模型學(xué)習(xí)詞表示；其次，在詞相似度計(jì)算和關(guān)系相似度計(jì)算這兩個(gè)任務(wù)上對(duì)本文提出的詞表示方法進(jìn)行了評(píng)價(jià)，這兩個(gè)任務(wù)同時(shí)也是詞表示的直接應(yīng)用；最后把詞表示應(yīng)用到中文電子病歷命名實(shí)體識(shí)別這一代表性的信息抽取任務(wù)中。主要研究?jī)?nèi)容包括以下五個(gè)方面：
　　1.系統(tǒng)地比較了語(yǔ)言和免疫

4、系統(tǒng)的一致性，深入分析了語(yǔ)言和免疫系統(tǒng)的一致性對(duì)詞表示研究的重要啟發(fā)。語(yǔ)言和免疫系統(tǒng)的一致性是本課題的理論基礎(chǔ)，一致性對(duì)比分析從三個(gè)方面展開，首先是學(xué)習(xí)特點(diǎn)的一致性，都具有持續(xù)學(xué)習(xí)特性；其次是作為語(yǔ)言的最小單位詞和免疫系統(tǒng)的重要細(xì)胞B細(xì)胞存在深刻的一致性；最后是由詞組成的語(yǔ)言網(wǎng)絡(luò)和由B細(xì)胞組成的額免疫網(wǎng)絡(luò)都具有復(fù)雜網(wǎng)絡(luò)特性。這三方面的一致性對(duì)模型的設(shè)計(jì)提供了重要啟發(fā)，指導(dǎo)詞表示學(xué)習(xí)模型的構(gòu)建。
　　2.提出基于免疫學(xué)原理的詞表示方

5、法和多詞主體自治學(xué)習(xí)模型學(xué)習(xí)詞的表示。在面向自治計(jì)算框架下采用主體建模方法，引入適應(yīng)性免疫學(xué)原理（克隆選擇原理和免疫網(wǎng)絡(luò)理論），構(gòu)建多詞主體自治學(xué)習(xí)模型，該模型是一種在線學(xué)習(xí)模型。模型將詞模擬成B細(xì)胞，將詞的屬性表示支配屬性向量和依賴屬性向量，并模擬成 B細(xì)胞受體，詞之間的依存關(guān)系模擬成 B細(xì)胞之間的識(shí)別關(guān)系，識(shí)別方式是一個(gè)詞的支配屬性向量和另一個(gè)詞的依賴屬性向量進(jìn)行匹配。在免疫學(xué)原理的作用下，模型調(diào)節(jié)詞之間的結(jié)合強(qiáng)度，進(jìn)而學(xué)習(xí)詞的表示

6、。
　　3.基于本文的詞表示方法提出一種詞相似度計(jì)算方法，并通過(guò)實(shí)驗(yàn)驗(yàn)證詞表示方法和詞相似度計(jì)算方法的有效性。本文的詞表示方法把詞表示成兩個(gè)向量，一個(gè)代表詞的支配屬性向量，另一個(gè)代表依賴屬性向量；本文擴(kuò)展分布式語(yǔ)義假設(shè)為“具有相似的支配上下文和相似的依賴上下文的兩個(gè)詞是相似的”，因此詞相似度值需要考慮兩個(gè)詞在支配屬性向量上的相似度和依賴屬性上的相似度。該方法在評(píng)價(jià)數(shù)據(jù)上取得了有效的評(píng)價(jià)結(jié)果。
　　4.基于本文的詞表示方法提出

7、一種詞關(guān)系表示方法和詞關(guān)系相似度計(jì)算方法，并通過(guò)實(shí)驗(yàn)驗(yàn)證詞表示方法和詞關(guān)系相似度計(jì)算方法的有效性。本文把詞的結(jié)合關(guān)系泛化成語(yǔ)義關(guān)系，因而把一個(gè)詞的支配屬性向量和另一個(gè)詞的依賴屬性向量匹配后得到的向量作為關(guān)系的表示。詞之間的關(guān)系存在方向性，因此本研究把詞的關(guān)系表示成兩個(gè)向量，一個(gè)代表詞之間的正向關(guān)系，一個(gè)代表詞之間的反向關(guān)系，分別對(duì)應(yīng)于詞之間的兩種結(jié)合方式；基于這樣的關(guān)系表示，本文認(rèn)為只有在正向關(guān)系上和反向關(guān)系上同時(shí)相似的兩個(gè)關(guān)系對(duì)才相似

8、，因此關(guān)系相似度值需要考慮兩個(gè)關(guān)系對(duì)在正向關(guān)系向量上的相似度和反向關(guān)系向量上的相似度。該方法在評(píng)價(jià)數(shù)據(jù)上取得了有效的評(píng)價(jià)結(jié)果。
　　5.基于本文的詞表示方法，引入詞表示到命名實(shí)體識(shí)別模型中，提升中文電子病歷命名實(shí)體識(shí)別的性能。本文首先抽取電子病歷中的詞，然后從新聞?wù)Z料上學(xué)習(xí)到的詞表示集中取得詞的向量表示，對(duì)病歷中的詞進(jìn)行聚類，然后把詞的聚類作為命名實(shí)體識(shí)別模型的特征，實(shí)現(xiàn)了領(lǐng)域間知識(shí)的遷移。對(duì)比實(shí)驗(yàn)表明本文的詞表示能有效提升中文電