序列模型中的遷移學(xué)習研究.pdf

1、機器學(xué)習領(lǐng)域的許多問題都可以形式化為序列學(xué)習問題。在序列學(xué)習問題中，若干數(shù)據(jù)點構(gòu)成一個前后有序的整體，每個數(shù)據(jù)點需分別賦予一個類別標簽。因為序列中數(shù)據(jù)點之間存在著豐富而復(fù)雜的序列依賴關(guān)系，此類問題具有很大的挑戰(zhàn)性。經(jīng)典的機器學(xué)習方法，由于受數(shù)據(jù)獨立性假設(shè)的局限，無法考慮前后數(shù)據(jù)的依賴關(guān)系而丟失了許多重要信息，使得分類效果降低，甚至無效。條件隨機場(Conditional Random Fields，CRF)模型是目前解決序列學(xué)習問題的有

2、效方法，在自然語言處理，計算機視覺，生物信息等領(lǐng)域得到的廣泛的應(yīng)用。
　　 雖然CRF取得顯著的成功，但是訓(xùn)練一個有效的模型，仍然面臨著代價過高的挑戰(zhàn)。這些代價主要來自兩方面。首先是設(shè)計特征的代價是高昂的。特征對于分類器來說至關(guān)重要，然而設(shè)計好的特征需要領(lǐng)域?qū)＜业膮⑴c和指導(dǎo)，需要付出極大代價。其次，為了模型訓(xùn)練，要標注大量的數(shù)據(jù)，而數(shù)據(jù)標注的代價是巨大的。如何減少標注代價，近年來一直是機器學(xué)習研究者致力解決的問題。由于序列數(shù)據(jù)的

3、復(fù)雜性，以上兩個問題對于序列學(xué)習問題更為突出，尚無有效的解決方法。針對上述問題，本文提出了基于遷移學(xué)習框架的序列模型。在本文提出的模型框架下，給出了一個特征學(xué)習和少量訓(xùn)練數(shù)據(jù)學(xué)習問題的集成解決辦法。
　　 首先，針對序列數(shù)據(jù)的特征學(xué)習問題，本文提出了神經(jīng)網(wǎng)絡(luò).條件隨機場混合模型(NNCRF)。利用神經(jīng)網(wǎng)絡(luò)學(xué)習原始數(shù)據(jù)的健壯特征表示已成為目前研究的熱點，然而如何學(xué)習非獨立數(shù)據(jù)的特征表示還是一個亟待解決的問題。本文將CRF和神經(jīng)網(wǎng)絡(luò)

4、相融合，使得模型不僅能夠保留CRF在學(xué)習序列數(shù)據(jù)的動態(tài)特征能力，而且能夠從原始輸入數(shù)據(jù)中學(xué)習到更有效、低噪聲、非線性的高級特征。同時，NNCRF模型的多層結(jié)構(gòu)為進一步的遷移學(xué)習序列模型奠定了基礎(chǔ)。
　　 其次，基于NNCRF模型，本文創(chuàng)新性的提出了序列模型的遷移學(xué)習方法。在機器學(xué)習任務(wù)中，不同但是相關(guān)的學(xué)習任務(wù)之間是存在某些共通的知識的。本文提出的遷移學(xué)習序列模型，就是利用來自相關(guān)的輔助任務(wù)的有益知識來提高目標任務(wù)的訓(xùn)練效果。它

5、通過從相關(guān)的序列學(xué)習任務(wù)學(xué)習到的知識共享到目標學(xué)習任務(wù)中，間接的利用了相關(guān)任務(wù)的訓(xùn)練數(shù)據(jù)。本文不僅給出了序列模型的遷移學(xué)習的模型架構(gòu)，而且對任務(wù)之間的相關(guān)性，以及對目標學(xué)習任務(wù)的提升都做了詳盡的理論和實驗分析，并給出了序列模型的遷移學(xué)習方法的優(yōu)化目標和優(yōu)化算法。通過本文提出的遷移學(xué)習的序列模型架構(gòu)，多個相近的序列模型可以同時學(xué)習，共享共通的領(lǐng)域知識。這樣，即使在目標學(xué)習任務(wù)的訓(xùn)練數(shù)據(jù)較少的情況下，仍可以間接利用輔助學(xué)習任務(wù)的訓(xùn)練數(shù)據(jù)，從

6、而增加模型的泛化性。
　　 最后，在遷移學(xué)習序列模型的基礎(chǔ)上，本文根據(jù)序列數(shù)據(jù)的特性，設(shè)計了基于偽任務(wù)的多任務(wù)學(xué)習。其中，偽任務(wù)并非實際存在的真實學(xué)習任務(wù)，而是借鑒語言模型的思想，從目標任務(wù)中構(gòu)造的是一個無監(jiān)督的序列模型。由于它可以使用未標注數(shù)據(jù)進行訓(xùn)練，因此在NNCRF遷移學(xué)習的框架下，同時訓(xùn)練目標任務(wù)和偽任務(wù)兩個模型，使得模型的訓(xùn)練過程轉(zhuǎn)變?yōu)榘氡O(jiān)督學(xué)習。偽任務(wù)的設(shè)計，是模型不僅能夠利用未標注數(shù)據(jù)參與訓(xùn)練，而且使得遷移學(xué)習序列

7、能夠在沒有真正的輔助任務(wù)的情況下也能工作，極大的擴展了模型的靈活性和應(yīng)用范圍。
　　 本文提出的NNCRF模型具有特征學(xué)習的能力，并且以NNCRF模型為基礎(chǔ)的遷移學(xué)習可在訓(xùn)練中利用相關(guān)學(xué)習任務(wù)的標注數(shù)據(jù)和未標注數(shù)據(jù)，從兩個方面增加了訓(xùn)練可用的數(shù)據(jù)量，減少了數(shù)據(jù)標注的代價，而且也對特征學(xué)習可提供有益的促進。通過模擬數(shù)據(jù)的實驗，展示了本文提出的模型在特征學(xué)習和序列學(xué)習方面的優(yōu)勢。同時，在動作識別的真實數(shù)據(jù)集上的實驗也表明，本文提出的