基于深度置信網(wǎng)絡(luò)的分類方法.pdf

1、最近,機器學習領(lǐng)域出現(xiàn)了一系列基于多層神經(jīng)網(wǎng)絡(luò)架構(gòu)的學習方法,稱為深度學習方法。深度置信網(wǎng)絡(luò)作為經(jīng)典的深度學習方法,可以包含較多隱藏層,可以更好的學習各種復雜數(shù)據(jù)的結(jié)構(gòu)和分布,引起了廣泛關(guān)注。但由于深度置信網(wǎng)絡(luò)本身采用的是無監(jiān)督學習機制,因此,探討如何使用深度學習方法來解決分類問題,特別是基于半監(jiān)督學習的分類問題的研究工作還比較少。
　　本文提出了一系列基于深度置信網(wǎng)絡(luò)的分類方法,使用半監(jiān)督學習和監(jiān)督學習方法來提升分類性能。研究內(nèi)

2、容主要包括:
　　第一,區(qū)分深度置信網(wǎng)絡(luò)。深度置信網(wǎng)絡(luò)方法在數(shù)據(jù)壓縮中取得了很好的效果,但是在分類方面的性能還有待提升。本文基于深度置信網(wǎng)絡(luò)方法,提出了一種新的半監(jiān)督學習方法,稱為區(qū)分深度置信網(wǎng)絡(luò)。該方法使用一個新的深層架構(gòu)來集成深度置信網(wǎng)絡(luò)的抽象能力和指數(shù)損失函數(shù)的區(qū)分能力,可以使用少量的標注數(shù)據(jù)達到比較好的分類效果。在人工合成和現(xiàn)實生活中圖片數(shù)據(jù)集上的實驗表明,區(qū)分深度置信網(wǎng)絡(luò)可以通過使用大量的未標注數(shù)據(jù)來大大提升它的分類能力

3、。
　　第二,自適應(yīng)深度置信網(wǎng)絡(luò)。區(qū)分深度置信網(wǎng)絡(luò)主要解決半監(jiān)督學習問題,而沒有解決如何用深度學習方法進行有效的監(jiān)督學習的問題。本文基于區(qū)分深度置信網(wǎng)絡(luò)和深度自動編碼方法,提出了一種新的監(jiān)督學習方法,稱為自適應(yīng)深度置信網(wǎng)絡(luò)。該方法使用無監(jiān)督學習方法來構(gòu)建輸出層,與使用隨機數(shù)初始化輸出層的經(jīng)典方法相比,分類結(jié)果得到了提升。在手寫數(shù)字、手寫字母和現(xiàn)實生活中圖片數(shù)據(jù)集上的實驗表明,自適應(yīng)深度置信網(wǎng)絡(luò)的分類結(jié)果優(yōu)于經(jīng)典機器學習方法和區(qū)分深

4、度置信網(wǎng)絡(luò)方法。
　　第三,量子深度置信網(wǎng)絡(luò)。量子神經(jīng)網(wǎng)絡(luò)是一個將模糊集和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)很好的結(jié)合起來的分類方法。為了進一步提升監(jiān)督學習方法性能,本文在自適應(yīng)深度置信網(wǎng)絡(luò)和量子神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上,提出了量子深度置信網(wǎng)絡(luò)方法。該方法使用一個新的深層架構(gòu)來集成深層架構(gòu)的抽象能力和量子神經(jīng)網(wǎng)絡(luò)的模糊表示能力。在多個現(xiàn)實應(yīng)用數(shù)據(jù)集上的實驗表明,量子深度置信網(wǎng)絡(luò)的分類能力明顯高于經(jīng)典神經(jīng)網(wǎng)絡(luò)、模糊神經(jīng)網(wǎng)絡(luò)、區(qū)分深度置信網(wǎng)絡(luò)和自適應(yīng)深度置信網(wǎng)絡(luò)方法

5、。
　　第四,主動深度置信網(wǎng)絡(luò)。為解決半監(jiān)督學習中的有效樣本選擇問題,本文將自適應(yīng)深度置信網(wǎng)絡(luò)和主動學習方法相結(jié)合,提出了一種新的半監(jiān)督學習方法,稱為主動深度置信網(wǎng)絡(luò)。該方法使用同一個深層架構(gòu)來進行半監(jiān)督學習和主動學習,使深層架構(gòu)在主動學習過程中進行迭代訓練,逐步提高抽象和分類能力。本文將主動深度置信網(wǎng)絡(luò)成功的應(yīng)用到情感分類任務(wù)中,實驗結(jié)果表明,主動深度置信網(wǎng)絡(luò)的性能優(yōu)于經(jīng)典半監(jiān)督學習方法、主動學習方法,對本文前面提出的深度學習方

6、法也有性能上的改進。
　　第五,主動模糊深度置信網(wǎng)絡(luò)。為了進一步提升主動深度置信網(wǎng)絡(luò)的性能,本文將主動深度置信網(wǎng)絡(luò)與模糊學習方法相結(jié)合,提出了主動模糊深度置信網(wǎng)絡(luò)。該方法繼承了深層架構(gòu)優(yōu)異的數(shù)據(jù)抽象能力和模糊集優(yōu)異的分類能力。本文將該方法成功的應(yīng)用到情感分類任務(wù)中,實驗結(jié)果表明,主動模糊深度置信網(wǎng)絡(luò)獲得了所有對比方法中最好的性能。
　　最后,本文將深度學習方法應(yīng)用到手寫中文識別任務(wù)中,提出了一個有效的手寫中文識別方法,稱為基