基于差異的半監(jiān)督學(xué)習(xí)中有關(guān)算法與理論研究.pdf

1、傳統(tǒng)的機(jī)器學(xué)習(xí)中，要獲得一個(gè)良好的分類(lèi)器需要足夠的有標(biāo)號(hào)數(shù)據(jù)。然而在很多現(xiàn)實(shí)任務(wù)中，如生物基因分析、Web數(shù)據(jù)挖掘等領(lǐng)域，隨著數(shù)據(jù)收集和存儲(chǔ)技術(shù)的發(fā)展，獲得大量無(wú)標(biāo)號(hào)的數(shù)據(jù)相當(dāng)容易，而對(duì)數(shù)據(jù)進(jìn)行標(biāo)注卻非常困難或者代價(jià)高昂。因此，如何在少量有標(biāo)號(hào)數(shù)據(jù)上提高分類(lèi)器的泛化能力，成為了當(dāng)前機(jī)器學(xué)習(xí)領(lǐng)域倍受關(guān)注的重要問(wèn)題之一。半監(jiān)督學(xué)習(xí)在有標(biāo)號(hào)數(shù)據(jù)的基礎(chǔ)上，結(jié)合無(wú)標(biāo)號(hào)數(shù)據(jù)進(jìn)行學(xué)習(xí)，可以有效地克服標(biāo)注瓶頸問(wèn)題，有著非常強(qiáng)的現(xiàn)實(shí)意義和廣闊的發(fā)展前景。

2、在半監(jiān)督學(xué)習(xí)中，協(xié)同訓(xùn)練類(lèi)算法對(duì)無(wú)標(biāo)號(hào)數(shù)據(jù)的利用方式簡(jiǎn)單且易于控制，不需要額外的先驗(yàn)知識(shí)進(jìn)行模型假設(shè)，便于結(jié)合現(xiàn)有的學(xué)習(xí)模型，是半監(jiān)督學(xué)習(xí)中在實(shí)際應(yīng)用取得廣泛成功的一類(lèi)算法。在另一方面，集成學(xué)習(xí)結(jié)合多個(gè)差異性的基分類(lèi)器來(lái)提高系統(tǒng)的泛化能力，近年來(lái)出現(xiàn)了一些在集成學(xué)習(xí)中利用無(wú)標(biāo)號(hào)數(shù)據(jù)的新算法。這些算法與協(xié)同訓(xùn)練類(lèi)算法都是通過(guò)利用基分類(lèi)器之間的差異來(lái)利用無(wú)標(biāo)號(hào)數(shù)據(jù)，從而提高系統(tǒng)的泛化能力，我們把它們統(tǒng)稱(chēng)為基于差異的半監(jiān)督學(xué)習(xí)算法。如何創(chuàng)造并

3、有效利用基分類(lèi)器之間的差異，以及如何控制偽標(biāo)號(hào)數(shù)據(jù)中的噪聲，是這類(lèi)算法所面臨的主要問(wèn)題。本文主要基于協(xié)同訓(xùn)練算法，并結(jié)合集成學(xué)習(xí)，進(jìn)行了一系列算法及相關(guān)理論方面的研究。主要研究?jī)?nèi)容與創(chuàng)新點(diǎn)可以歸納如下:第一，開(kāi)展了在協(xié)同訓(xùn)練的框架下結(jié)合生成性方法和判別性方法的研究。通過(guò)這兩類(lèi)互補(bǔ)性很強(qiáng)的學(xué)習(xí)算法獲得協(xié)同訓(xùn)練所需要的差異性，使協(xié)同訓(xùn)練算法不再依賴(lài)于現(xiàn)實(shí)中難以滿(mǎn)足獨(dú)立視角;本文還在協(xié)同訓(xùn)練算法中引入一種可回溯的機(jī)制，極大提高了對(duì)無(wú)標(biāo)號(hào)數(shù)據(jù)利

4、用的安全性。此外，本文采用一對(duì)線性權(quán)重參數(shù)來(lái)調(diào)節(jié)偽標(biāo)號(hào)數(shù)據(jù)權(quán)重，避免了目標(biāo)函數(shù)非凸而陷入局部最優(yōu)解的問(wèn)題，并定義了一個(gè)混合目標(biāo)函數(shù)在迭代訓(xùn)練過(guò)程中動(dòng)態(tài)估算權(quán)重參數(shù)的值。第二，在總結(jié)現(xiàn)有的協(xié)同訓(xùn)練類(lèi)算法的基礎(chǔ)上，本文提出一種更廣泛意義上的多分類(lèi)器、多差異來(lái)源的協(xié)同訓(xùn)練新框架Co-learning，并根據(jù)訓(xùn)練方式的不同提出兩種具體的算法。此外，針對(duì)迭代訓(xùn)練過(guò)程中差異性減少的問(wèn)題，本文提出一種通過(guò)操縱偽標(biāo)號(hào)數(shù)據(jù)為基分類(lèi)器創(chuàng)造差異的新方法。第三

5、，研究了協(xié)同訓(xùn)練類(lèi)算法和集成學(xué)習(xí)的結(jié)合，并根據(jù)集成方法的不同，提出兩種針對(duì)性算法:SECL和PECL算法;提出一種結(jié)合置信度的投票邊緣函數(shù)，用于偽標(biāo)號(hào)數(shù)據(jù)的選擇和最終分類(lèi)。此外，本文還提出一種帶權(quán)重的裝袋算法，用于在迭代訓(xùn)練結(jié)束后生成分類(lèi)器集合。第四，在理論方面，針對(duì)基于差異的半監(jiān)督學(xué)習(xí)的特點(diǎn)，本文定義了一種分類(lèi)噪音和分布噪音相混合的新噪聲形式，HCAD噪聲，并給出協(xié)同訓(xùn)練類(lèi)算法在HCAD噪聲下的概率近似正確(PAC)的理論分析;對(duì)于多