基于帶約束隨機游走圖模型的弱監(jiān)督學(xué)習(xí)算法研究.pdf

1、傳統(tǒng)監(jiān)督機器學(xué)習(xí)面對的是監(jiān)督信息明確且完整的對象，需要大量標記數(shù)據(jù)來保證學(xué)習(xí)機的泛化性能。隨著研究不斷深入以及應(yīng)用不斷推廣，越來越多機器學(xué)習(xí)問題面對的是缺乏明確和完整監(jiān)督信息的對象，由此產(chǎn)生了許多諸如半監(jiān)督學(xué)習(xí)、多標記學(xué)習(xí)和多示例學(xué)習(xí)等新型學(xué)習(xí)范式以及特定應(yīng)用背景下的新型學(xué)習(xí)問題：例如，如何利用弱標記、概率標記、模糊標記和噪聲標記等廉價標記進行學(xué)習(xí)。此外，實際應(yīng)用中的學(xué)習(xí)問題往往以混合形式出現(xiàn)，如多標記多示例、半監(jiān)督多標記、弱標記多標記

2、等。本文將以上所有針對監(jiān)督信息不完整或不明確對象的學(xué)習(xí)問題統(tǒng)稱為弱監(jiān)督學(xué)習(xí)。
　　弱監(jiān)督學(xué)習(xí)問題普遍存在于信息檢索、圖像識別與理解、視覺目標跟蹤等各種機器學(xué)習(xí)與模式識別應(yīng)用中，弱監(jiān)督樣本的引入可以在不增加人工標注工作量的條件下，擴大學(xué)習(xí)樣本集合，提高模型的泛化能力?，F(xiàn)有的弱監(jiān)督學(xué)習(xí)算法大多是針對特定學(xué)習(xí)問題提出的，僅適用于特定的弱監(jiān)督學(xué)習(xí)場景，缺乏統(tǒng)一的學(xué)習(xí)框架，無法解決各種復(fù)雜的混合弱監(jiān)督學(xué)習(xí)問題。
　　本文一改以往針對不

3、同類型弱監(jiān)督學(xué)習(xí)問題進行單獨研究的方式，將所有具有弱監(jiān)督性質(zhì)的學(xué)習(xí)問題作為整體來研究，致力于建立可以綜合應(yīng)用各種弱監(jiān)督信息，適用于復(fù)雜弱監(jiān)督學(xué)習(xí)場景的框架，能夠?qū)⒏鞣N弱監(jiān)督問題、混合弱監(jiān)督問題納入統(tǒng)一框架內(nèi)求解。本文以帶約束隨機游走圖模型，一種新型圖方法為主要技術(shù)手段，采取圖方法與現(xiàn)有學(xué)習(xí)算法相結(jié)合的策略，對半監(jiān)督、多標記以及混合弱監(jiān)督學(xué)習(xí)問題進行深入研究，具體內(nèi)容如下：
　　(1)提出了兩種統(tǒng)一解決復(fù)雜弱監(jiān)督問題的學(xué)習(xí)框架：基于

4、極大似然估計的EM model和基于圖方法的graph model。對監(jiān)督信息的不確定性建模，給出了針對各種不同類型弱監(jiān)督樣本的統(tǒng)一描述，提出了一種定量描述樣本集監(jiān)督信息強弱的方法。在EM model框架下，依次給出了針對半監(jiān)督、多標記以及更為復(fù)雜的混合弱監(jiān)督學(xué)習(xí)問題的解決方法。在graph model框架下，首先探討了將現(xiàn)有半監(jiān)督圖方法推廣到復(fù)雜弱監(jiān)督學(xué)習(xí)領(lǐng)域的可能性，然后針對現(xiàn)有圖方法的不足，提出了一種帶約束隨機游走(Control

5、led Random Walk, CRW)圖模型，該圖模型能夠適用于訓(xùn)練集中存在噪聲的情形，具有較強的容錯能力，可作為graph model框架中一種能夠整合多種弱監(jiān)督信息，適用于各種復(fù)雜學(xué)習(xí)場景的通用方法。通過對兩種弱監(jiān)督學(xué)習(xí)框架的比較與分析，為改進現(xiàn)有弱監(jiān)督學(xué)習(xí)算法以及設(shè)計新型算法提供新的思路。
　　(2)提出了一種基于嵌入式流形直推的自適應(yīng)半監(jiān)督自學(xué)習(xí)算法。傳統(tǒng)自學(xué)習(xí)僅利用標記樣本，通過分類器自身來挑選新標記樣本，因而訓(xùn)練集

6、迭代更新過程中會不可避免地引入噪音，最終導(dǎo)致學(xué)習(xí)性能惡化。本文將圖方法與經(jīng)典自學(xué)習(xí)算法相結(jié)合，將CRW圖模型嵌入到自學(xué)習(xí)的自動標記過程中，以直推(transductive)方式對所有未標記樣本進行標注。嵌入的CRW圖模型不僅能夠借助于流形假設(shè)，通過考慮樣本整體分布輸出更可靠的自動標記，而且能夠直接從噪音中學(xué)習(xí)，因而可以進一步減小更新訓(xùn)練集時引入噪聲的風(fēng)險。另外，采用一種基于噪音學(xué)習(xí)理論的自適應(yīng)策略，在最小化期望分類錯誤率的準則下自動確定

7、每輪迭代中新增樣本的最優(yōu)數(shù)目，這比傳統(tǒng)自學(xué)習(xí)算法中采用人工預(yù)設(shè)固定值的做法更為合理。UCI公共數(shù)據(jù)集上大量實驗結(jié)果表明所提算法在泛化性能、穩(wěn)定性以及學(xué)習(xí)效率上的表現(xiàn)明顯優(yōu)于現(xiàn)有算法。
　　(3)提出了一種基于樣本條件價值的半監(jiān)督協(xié)同訓(xùn)練(co-training)算法。Co-training在訓(xùn)練集的不同視圖下分別訓(xùn)練分類器，各分類器互為對方從未標記樣本集中挑選新增標記樣本，以此迭代更新對方訓(xùn)練集。標準協(xié)同訓(xùn)練僅以分類器的后驗輸出作

8、為新增樣本的挑選策略,該策略忽略了樣本對于當(dāng)前分類器的價值。本文將圖方法與協(xié)同訓(xùn)練算法相結(jié)合，采用一種基于樣本條件價值的挑選策略來指導(dǎo)各視圖下分類器的學(xué)習(xí)過程，指出挑選新增樣本時需要同時考慮標記置信度(confidence)和樣本信息度(informativeness)。將CRW圖模型整合到co-training的自動標記過程中，以此輸出分類置信度更高的標記。這種新型協(xié)同訓(xùn)練算法能夠在挑選新增標記樣本的時候同時考慮分類器的分類置信度以及

9、對方分類器的需要程度。在多個現(xiàn)實世界數(shù)據(jù)集上的實驗結(jié)果表明，所提算法可以有效地利用未標記樣本取得更好的泛化性能。
　　(4)提出了一種針對弱標記的直推式多標記圖方法。真實世界的多標記學(xué)習(xí)應(yīng)用往往面臨著標記樣本不足以及標記集不完整、帶噪聲等弱標記問題，此時傳統(tǒng)有監(jiān)督多標記學(xué)習(xí)方法將失效。針對以上問題，本文將半監(jiān)督圖方法推廣到多標記學(xué)習(xí)領(lǐng)域，首先利用帶約束隨機游走CRW圖模型以標記集合傳播(label set propagation)