用未標(biāo)記數(shù)據(jù)增強(qiáng)分類(lèi)器能力的研究.pdf

1、傳統(tǒng)的分類(lèi)問(wèn)題需要通過(guò)大量的標(biāo)記樣本進(jìn)行學(xué)習(xí)，以預(yù)測(cè)未來(lái)樣本的標(biāo)記。然而在實(shí)際的分類(lèi)應(yīng)用中，比如圖像分析、網(wǎng)頁(yè)分類(lèi)、蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)等，標(biāo)記樣本往往數(shù)量比較少，獲取成本比較高；而未標(biāo)記樣本往往大量存在，其獲取成本也相對(duì)較低。因此如何利用大量未標(biāo)記數(shù)據(jù)來(lái)改善學(xué)習(xí)的效果，成為了機(jī)器學(xué)習(xí)領(lǐng)域備受關(guān)注的課題，針對(duì)此問(wèn)題的研究方法被稱(chēng)之為半監(jiān)督學(xué)習(xí)。
　　 以往許多半監(jiān)督學(xué)習(xí)研究工作都側(cè)重于設(shè)計(jì)專(zhuān)有的學(xué)習(xí)方法，使其能夠利用大量未標(biāo)記數(shù)據(jù)輔助

2、標(biāo)記數(shù)據(jù)的學(xué)習(xí)。然而，經(jīng)常會(huì)有這樣的情況，對(duì)于特定應(yīng)用，已經(jīng)有了最合適的監(jiān)督學(xué)習(xí)方法，希望能夠借助大量未標(biāo)記數(shù)據(jù)來(lái)提高已有方法的效果。同時(shí)，對(duì)于那些已有的半監(jiān)督學(xué)習(xí)方法而言，希望在其基礎(chǔ)之上，運(yùn)用某種方法再次提高它的效果。所以尋找一種能夠結(jié)合大量的未標(biāo)記數(shù)據(jù)來(lái)增強(qiáng)已有學(xué)習(xí)器的效果的方法，非常有實(shí)際意義。為區(qū)別于一般的半監(jiān)督學(xué)習(xí)方法，本文稱(chēng)這種半監(jiān)督學(xué)習(xí)的思路為半監(jiān)督增強(qiáng)（Semi-supervisedImprovement，SSI）。<

3、br>　　 大部分的半監(jiān)督增強(qiáng)方法都采用基于置信度的迭代式框架，存在的主要問(wèn)題有：受到置信度方法的限制，只能增強(qiáng)軟標(biāo)記的分類(lèi)方法；依靠分類(lèi)器現(xiàn)有模型擴(kuò)展標(biāo)記數(shù)據(jù)集，增強(qiáng)效果不明顯；容易放大訓(xùn)練初期的錯(cuò)誤，以導(dǎo)致精度退化。
　　 針對(duì)這些問(wèn)題，本文在傳統(tǒng)的半監(jiān)督增強(qiáng)框架上進(jìn)行了研究和拓展，提出了基于獨(dú)立置信度的半監(jiān)督增強(qiáng)框架（Semi-supervised Improvement Framework based on Exter

4、nal Confidence，SIFEC），該框架利用與已有分類(lèi)器無(wú)關(guān)的置信度計(jì)算方法，客觀的評(píng)判出標(biāo)記的正確性，從而有效地改善了傳統(tǒng)的置信度方法在迭代過(guò)程中更新信息少和強(qiáng)化早期錯(cuò)誤的問(wèn)題，同時(shí)打破了傳統(tǒng)框架中對(duì)于學(xué)習(xí)器種類(lèi)的限制，能夠修正任意學(xué)習(xí)方法；還在傳統(tǒng)的增量式數(shù)據(jù)集更新方式的基礎(chǔ)上，提出了一種新的過(guò)濾式數(shù)據(jù)集更新方式，改善了貪婪式框架不能修正已有訓(xùn)練集中存在的錯(cuò)誤的問(wèn)題；最后進(jìn)一步對(duì)傳統(tǒng)的半監(jiān)督增強(qiáng)框架進(jìn)行了泛化，使其從針對(duì)特

5、定學(xué)習(xí)方法進(jìn)行增強(qiáng)的框架，變成了針對(duì)未標(biāo)記數(shù)據(jù)的某個(gè)預(yù)測(cè)結(jié)果進(jìn)行增強(qiáng)的框架，允許框架根據(jù)特定數(shù)據(jù)集更換重訓(xùn)練方法，進(jìn)一步提高了框架的增強(qiáng)效果。置信度計(jì)算方法是半監(jiān)督增強(qiáng)框架中的關(guān)鍵問(wèn)題，本文借鑒基于圖的半監(jiān)督學(xué)習(xí)方法，提出了三種獨(dú)立的標(biāo)記置信度計(jì)算方法：GSW方法、MSG方法、MACC方法，能夠有效的選出已有標(biāo)記中置信度高的數(shù)據(jù)。
　　 跨膜蛋白質(zhì)數(shù)據(jù)集以及UCI基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，配合適當(dāng)?shù)闹赜?xùn)練方法，本文提出的泛化的