多任務學習算法研究.pdf

1、多任務學習是指通過同時學習多個任務來提升算法的泛化性能?？傮w來說，現(xiàn)有最新的多任務學習算法主要是都通過挖掘任務聚類和異常任務的方式，來提升算法的理論和實際性能。本文將著重研究在上述兩種假設條件下的多任務學習算法。
　　首先，考慮在未知任務聚類結構未知的條件下，本文提出了一種靈活的多任務學習算法來實現(xiàn)子空間的任務聚類。具體來說，通過采用滿秩的子空間矩陣，并對表示矩陣使用組稀疏和正交約束，使得目標模型仍然位于某個由自動選定的基任務所生

2、成的低維子空間中。最終的優(yōu)化目標被表示為對于子空間和目標模型的聯(lián)合優(yōu)化函數(shù)。除了提供算法的理論分析和證明外，與多個優(yōu)秀算法的比較實驗也證明了該方法的有效性和高效性。
　　其次，考慮同時存在任務聚類和異常任務情況下，本文提出了一種魯棒的多任務學習算法。與通常采用分解方式的魯棒多任務學習算法不同，本文直接對目標模型采用了混合e11/e21范數(shù)的正則化項，并將優(yōu)化目標表示為一個無約束的非平滑凸優(yōu)化問題。為了可以更有效地求解目標函數(shù)，本文

3、針對上述模型提出了兩種優(yōu)化策略:重加權最小二乘法和加速近端梯度下降算法。嚴格的泛化性能分析和大量的實驗證明了算法的有效性。
　　最后，本文將多任務學習算法應用于區(qū)分細分子類的細粒度圖像分類問題。通過將每個類的分類器學習看成是多任務學習的一個任務，多類分類分類器的學習就可以轉化為同時訓練多個分類器的多任務學習問題。為了能夠同時自動地發(fā)現(xiàn)相似類別的聚類和異常類別，本文提出使用混合e11/e21范數(shù)正則化的分類問題，并證明可以通過迭代優(yōu)