基于半監(jiān)督回歸的選擇性集成算法及其應用研究.pdf

1、集成學習利用多個學習器來解決問題，可以有效提高學習系統(tǒng)的泛化能力，成為近年來機器學習領(lǐng)域一個重要的研究方向，并被國際權(quán)威T.G.Dietterich稱為當前機器學習四大研究方向之首。作為一種新的機器學習范式，集成學習以其良好的性能和廣泛的適用性，在行星探測、地震波分析、Web信息過濾、生物特征識別、計算機輔助醫(yī)療診斷等眾多領(lǐng)域得到了廣泛的應用。以往集成學習的研究主要集中在監(jiān)督學習上，這種學習方式需要大數(shù)據(jù)量的有標記訓練樣本。但是在某些實

2、際的訓練過程中，大數(shù)據(jù)量的有標記樣本往往難以獲得。而對于小數(shù)據(jù)量的有標記訓練樣本，集成學習的效果往往又不理想。因此，針對小數(shù)據(jù)量的有標記樣本問題，如何提高集成學習的性能仍然是一個值得研究的問題。 針對訓練過程中存在大量未標記樣本的情況，本文結(jié)合半監(jiān)督學習和選擇性集成學習的思想，提出了一種基于半監(jiān)督回歸的選擇性集成算法SSRES。一方面，充分利用大量廉價的未標記樣本來輔助有標記樣本的學習，另一方面，使用選擇性集成學習進一步提高學習

3、系統(tǒng)的泛化能力。本文主要對基于半監(jiān)督回歸的選擇性集成學習進行了相關(guān)研究，主要研究工作包括： （1）在對當前集成學習方法進行深入分析的基礎(chǔ)上，基于Weka實驗平臺，利用Weka數(shù)據(jù)集對Boosting和Bagging算法的有效性進行了驗證，從而也進一步驗證了集成學習的有效性。 （2）在對選擇性集成學習和半監(jiān)督學習進行深入研究的基礎(chǔ)上，基于Eclipse+Weka開發(fā)平臺，實現(xiàn)了選擇性集成算法GRES和半監(jiān)督回歸算法CORE

4、G，并利用Weka數(shù)據(jù)集和人造數(shù)據(jù)集對算法的有效性進行了驗證。 （3）基于以上研究，針對小數(shù)據(jù)量的有標記樣本問題，提出了一種基于半監(jiān)督回歸的選擇性集成算法SSRES?；贓clipse+Weka開發(fā)平臺，實現(xiàn)了SSRES算法，并利用Weka數(shù)據(jù)集和人造數(shù)據(jù)集對SSRES算法性能進行了分析。實驗結(jié)果表明，SSRES算法能夠利用未標記樣本和選擇性集成技術(shù)提高學習器的性能。 （4）在實際應用方面，針對混凝土行業(yè)配合比數(shù)據(jù)中未試