序列標(biāo)注問題的監(jiān)督學(xué)習(xí)方法及應(yīng)用.pdf

1、隨著機(jī)器學(xué)習(xí)理論的發(fā)展，機(jī)器學(xué)習(xí)方法逐漸開始處理復(fù)雜的學(xué)習(xí)任務(wù)。在監(jiān)督學(xué)習(xí)方面，不再局限于解決簡(jiǎn)單的分類問題，一些復(fù)雜問題逐漸進(jìn)入研究者的視線。其中，序列標(biāo)注問題因普遍存在于多個(gè)研究領(lǐng)域而長(zhǎng)期倍受關(guān)注。本文主要探討解決序列標(biāo)注問題的監(jiān)督學(xué)習(xí)方法及其在自然語言處理領(lǐng)域和生物信息學(xué)領(lǐng)域的若干應(yīng)用。研究?jī)?nèi)容主要包括：
　　第一，基于大間隔的序列標(biāo)注方法的研究。統(tǒng)計(jì)語言模型通常用來解決序列標(biāo)注問題，并在很多應(yīng)用中取得了很好的效果。但都存在

2、過擬合問題?；诖箝g隔的序列標(biāo)注方法將大間隔的思想引入到序列標(biāo)注方法中，在理論上保證泛化能力的同時(shí)，還能取得好的預(yù)測(cè)性能。本文正是考慮到基于大間隔的序列標(biāo)注方法的這些優(yōu)點(diǎn)，將其應(yīng)用到英文組塊識(shí)別、中文分詞、生物文本命名實(shí)體識(shí)別和蛋白質(zhì)二級(jí)結(jié)構(gòu)預(yù)測(cè)等問題中，均取得了優(yōu)于其他對(duì)比方法的預(yù)測(cè)性能。
　　第二，置信度加權(quán)在線序列標(biāo)注算法。在自然語言處理領(lǐng)域，序列標(biāo)注問題具有特征稀疏的特性。為了充分描述這一特性，采用置信度加權(quán)分類算法的思想

3、，引入特征權(quán)值參數(shù)的概率置信度概念，提出了一種新的線性決策式在線序列標(biāo)注方法：置信度加權(quán)在線序列標(biāo)注算法。在英文組塊分析、中文分詞、中文命名實(shí)體識(shí)別以及生物醫(yī)學(xué)命名實(shí)體識(shí)別等問題上的實(shí)驗(yàn)結(jié)果表明：置信度加權(quán)序列標(biāo)注算法與現(xiàn)有優(yōu)秀的在線序列標(biāo)注算法相比，在預(yù)測(cè)性能和收斂速度上存在優(yōu)勢(shì)；與現(xiàn)有優(yōu)秀的離線序列標(biāo)注算法：條件隨機(jī)場(chǎng)相比，在存儲(chǔ)空間和收斂速度上存在優(yōu)勢(shì)，且預(yù)測(cè)精度與之相當(dāng)。
　　第三，基于頻度的在線自適應(yīng)N-gram序列標(biāo)注

4、學(xué)習(xí)算法。N-gram是最基本的序列標(biāo)注算法，因?qū)崿F(xiàn)簡(jiǎn)單、高效而經(jīng)常被應(yīng)用系統(tǒng)所采用。在基于N-gram的應(yīng)用系統(tǒng)中，不同的用戶往往對(duì)應(yīng)著不同的N-gram模型。對(duì)同一用戶而言，N-gram模型也應(yīng)該隨著用戶的使用而不斷優(yōu)化。針對(duì)這些問題，本文討論了基于詞頻的N-gram在線自適應(yīng)學(xué)習(xí)算法。這類算法根據(jù)用戶的每次使用情況，在線自動(dòng)調(diào)整相關(guān)頻度參數(shù)，使N-gram模型達(dá)到局部最優(yōu)。將其應(yīng)用到音字轉(zhuǎn)換問題中，取得了很好的效果。
　　第

5、四，基于重排序技術(shù)的Stacking集成序列標(biāo)注學(xué)習(xí)算法。與單一學(xué)習(xí)算法相比，集成學(xué)習(xí)往往能通過組合多個(gè)單一模型提高預(yù)測(cè)性能。本文提出了一種基于重排序技術(shù)的Stacking集成學(xué)習(xí)算法，并將其擴(kuò)展到序列標(biāo)注問題。該算法采用stacking集成結(jié)構(gòu)，利用重排序技術(shù)在訓(xùn)練語料上自動(dòng)尋找多個(gè)單一模型的最優(yōu)線性組合，分為三個(gè)步驟：一、訓(xùn)練多個(gè)基模型；二、對(duì)每一個(gè)訓(xùn)練樣本按照樣本標(biāo)簽或標(biāo)簽序列將多個(gè)基分類器的預(yù)測(cè)分值組合成新的排序樣本；三、對(duì)步驟

6、二生成的排序樣本重新排序。從理論上講，這一過程是求解基模型最優(yōu)線性組合的過程。在分類問題上優(yōu)于其他對(duì)比算法，在生物醫(yī)學(xué)命名實(shí)體識(shí)別序列標(biāo)注問題上也獲得了優(yōu)于所有單一模型的預(yù)測(cè)性能和其他對(duì)比算法。
　　第五，多任務(wù)序列標(biāo)注級(jí)聯(lián)學(xué)習(xí)算法在Hedge識(shí)別及其作用范圍界定問題中的應(yīng)用。在實(shí)際應(yīng)用中，存在一類序列標(biāo)注問題，需要給樣本觀測(cè)序列在不同層次上進(jìn)行標(biāo)注，稱為多任務(wù)序列標(biāo)注問題，通常采用級(jí)聯(lián)學(xué)習(xí)算法來解決這類問題。本文把Hedge識(shí)別