偏標記損失函數(shù)研究.pdf

1、偏標記學習是一類重要的弱監(jiān)督學習框架，在該框架下標記信息不再具有單一性和明確性:一個示例對應于一個候選標記集合，而候選標記集合中僅有一個標記為其真實標記。由于訓練數(shù)據(jù)的真實標記不可直接獲取，常見的一些監(jiān)督學習技術(shù)無法直接用于求解偏標記學習問題。
　　一般而言，損失函數(shù)設計體現(xiàn)了算法對學習問題性質(zhì)的描述。現(xiàn)有偏標記學習算法采用的損失主要存在兩個方面的問題。一方面，現(xiàn)有偏標記損失函數(shù)設計僅僅關(guān)注示例與標記之間的映射關(guān)系，從而忽略了輸入

2、空間中示例之間的相關(guān)性。另一方面，現(xiàn)有偏標記損失函數(shù)設計賦予各候選標記相同的置信度，從而忽略了真實標記與偽標記模型輸出重要性不同的性質(zhì)。針對以上兩方面問題，本文對偏標記損失函數(shù)設計進行了研究，主要圍繞如下兩個方面展開:
　　機器學習算法通常假設樣本之間滿足一致性性質(zhì)，即在特征空間中相似的示例在標記空間上也具有一定的相似性。基于此，提出基于一致性假設的偏標記學習算法COPAL。該算法在對候選標記集合進行消歧的過程中，其損失函數(shù)不僅考

3、慮了在候選標記集合上的輸出，同時考察了近鄰示例輸出的相似度。實驗結(jié)果表明，在偏標記損失函數(shù)中引入一致性假設考察示例相似度，可以更好地實現(xiàn)訓練樣本的候選標記消歧。
　　在偏標記學習中，真實標記上的模型輸出往往被偽標記上的模型輸出所湮沒。因此，需要在損失函數(shù)設計過程中考慮不同標記上模型輸出的置信度。基于此，提出基于標記置信度的偏標記學習算法CORD。該算法在對候選標記集合的消歧過程中，其損失函數(shù)綜合了候選標記的模型輸出及其置信度，通過