基于極限學(xué)習(xí)機的多示例算法研究.pdf

1、在許多領(lǐng)域，人們發(fā)現(xiàn)很多問題本質(zhì)上都有多示例設(shè)定的背景，例如新藥發(fā)現(xiàn)，文本分類（信息檢索），圖像分類（機器視覺），語音識別（信號處理）等等。多示例問題的成為機器學(xué)習(xí)領(lǐng)域研究的一個重要問題，在過去的幾年，有很多方法被研究出來解決多示例問題。但是多示例問題面臨的樣本多，大多數(shù)學(xué)習(xí)算法訓(xùn)練速度慢，限制了他們在實際中的應(yīng)用。
　　本文分別從基于包空間的角度和從基于示例的角度提出了了改進極限學(xué)習(xí)機的兩種方法。主要的研究內(nèi)容如下：
　　

2、1.從基于示例空間的角度，不僅可以預(yù)測包層次的標(biāo)簽，也可以對包中示例的分布和示例標(biāo)簽進行預(yù)測。本文從基于示例空間的角度提出了改進極限學(xué)習(xí)機的一種方法MIL-ELM。這種方法考慮到對于一個神經(jīng)網(wǎng)絡(luò)來說，包中的示例每有標(biāo)簽，無法進行有監(jiān)督的學(xué)習(xí)，但是可以把一個負(fù)包中的所有示例當(dāng)成一個多示例空間上的點，讓隨機產(chǎn)生的神經(jīng)網(wǎng)絡(luò)對所有的示例進行一個評價，通過最大化先驗概率，這樣就可以挑選出一個包中最有資質(zhì)的示例來代表這個包。基于多示例的基本假設(shè)，一

3、個正包中所有的示例都是正示例。負(fù)包中至少有一個示例是負(fù)示例。第一階段，利用單隱層神經(jīng)網(wǎng)絡(luò)在負(fù)包中挑選最負(fù)（負(fù)示例概率最大），在正包中挑選正包（正示例概率最大）。在第二階段，把示例當(dāng)成包的代表作為訓(xùn)練集，利用極限學(xué)習(xí)機算法原理重新訓(xùn)練神經(jīng)網(wǎng)絡(luò)。實驗證明MIL-ELM訓(xùn)練速度快，分類精度較高。
　　2.針對MIL-ELM算法的不穩(wěn)定性，提出用bagging技術(shù)優(yōu)化MIL-ELM。Bagging優(yōu)化后的MIL-ELM克服了極限學(xué)習(xí)機算法

4、先天的隨機不穩(wěn)定性，提高了MIL-ELM的預(yù)測精度。
　　3.提出一個基于包空間的方法MI-ELM。此方法應(yīng)用一個Hausdorff距離度量包之間的距離從而改進了高斯核的極限學(xué)習(xí)機。隱層節(jié)點是由包空間組成的，這個包空間是隨機產(chǎn)生的。由于我們不需要調(diào)節(jié)輸入層到隱層節(jié)點的參數(shù)，MI-ELM學(xué)習(xí)的速率非?？臁Ｓ掷昧撕思记?，有較好的分類回歸精度。
　　4.提出多示例算法是為了更好的解決多示例問題，本文提出的算法在藥物活性預(yù)測成功實