基于數(shù)據(jù)分布特征的主動(dòng)學(xué)習(xí)算法研究.pdf

1、隨著機(jī)器學(xué)習(xí)研究的不斷深入，學(xué)習(xí)算法所能處理的數(shù)據(jù)規(guī)模越來越龐大。然而，對(duì)數(shù)據(jù)進(jìn)行標(biāo)注一般仍需要人工完成，所消耗的成本日益成為限制機(jī)器學(xué)習(xí)發(fā)展的瓶頸。主動(dòng)學(xué)習(xí)通過讓機(jī)器主動(dòng)地挑選學(xué)習(xí)樣本，能夠避免對(duì)冗余數(shù)據(jù)進(jìn)行標(biāo)注，極大地降低標(biāo)簽成本。
　　傳統(tǒng)的主動(dòng)學(xué)習(xí)方法在挑選無標(biāo)簽樣本時(shí)，只考慮樣本對(duì)當(dāng)前已學(xué)得的模型的信息量，而沒有考慮了數(shù)據(jù)集的整體分布特征，存在一些明顯的不足：
　?。?）主動(dòng)挑選出來的數(shù)據(jù)集中仍存在較多冗余樣本；<

2、br>　?。?）主動(dòng)學(xué)習(xí)容易陷入局部最優(yōu)解；
　?。?）傳統(tǒng)主動(dòng)學(xué)習(xí)方法對(duì)信息利用不夠充分。
　　為了克服這些不足，本文針對(duì)主動(dòng)學(xué)習(xí)支持向量機(jī)研究了以下內(nèi)容：
　?。?）研究了一種基于半監(jiān)督聚類的主動(dòng)學(xué)習(xí)支持向量機(jī)。選擇引擎在挑選樣本時(shí)不再以當(dāng)前模型作為唯一依據(jù)。選擇引擎首先將特定區(qū)域內(nèi)的樣本聚成兩個(gè)樣本簇，然后選擇兩個(gè)簇交界處附近的樣本。根據(jù)聚類假設(shè)，這樣的樣本有較大的概率成為最終模型的支持向量。實(shí)驗(yàn)結(jié)果表明，這種改

3、進(jìn)的樣本選擇方法有效降低了主動(dòng)學(xué)習(xí)挑選出來的樣本集的冗余性。
　?。?）研究了一種新的主動(dòng)學(xué)習(xí)停止標(biāo)準(zhǔn)。該方法同樣以聚類假設(shè)的思想為基礎(chǔ)，認(rèn)為主動(dòng)學(xué)習(xí)應(yīng)該在分類超平面落在特征空間的稀疏區(qū)域時(shí)停止。為了判斷分類面是否落在稀疏區(qū)域，提出了一種基于隨機(jī)搜索的正則化圖分割算法。正則化圖分割（Normalized Graph Cut，縮寫Ncut）是實(shí)現(xiàn)低密度分割思想的代表性方法。如果SVM的分類結(jié)果與 Ncut得到的結(jié)果非常相似，則表明當(dāng)

4、前 SVM模型的分類面已落在稀疏區(qū)域，主動(dòng)學(xué)習(xí)可以停止。實(shí)驗(yàn)結(jié)果表明，這種新的停止標(biāo)準(zhǔn)在標(biāo)簽成本與模型泛化能力之間取得了較好的平衡。
　　（3）研究了一種基于特征選擇的主動(dòng)學(xué)習(xí)方法。該方法在主動(dòng)學(xué)習(xí)的早期階段只使用少數(shù)主要特征來描述整個(gè)數(shù)據(jù)集，從而使主動(dòng)學(xué)習(xí)得到的模型能夠迅速抓住數(shù)據(jù)集的整體分布特征，降低陷入差的局部最優(yōu)解的可能性。隨著主動(dòng)學(xué)習(xí)的進(jìn)行，有標(biāo)簽樣本數(shù)量逐漸增大，再逐漸增加數(shù)據(jù)集的細(xì)節(jié)特征，以進(jìn)一步提高模型精度。實(shí)驗(yàn)結(jié)