基于改進(jìn)的SAE和稀疏濾波算法的文本分類研究.pdf

1、基于改進(jìn)的SAE和稀疏濾波算法的文本分類研究TheStudyofTextClassificationBasedontheImprovedSAESparseFilteringAlgithm申請(qǐng)人：崔嘉樂學(xué)科專業(yè)：應(yīng)用數(shù)學(xué)研究方向：優(yōu)化理論、方法及應(yīng)用學(xué)位類別：學(xué)術(shù)學(xué)位指導(dǎo)教師：裴志利教授論文提交日期：二○一七年六月分類號(hào)029ICS學(xué)校代碼10136學(xué)號(hào)201400113碩士學(xué)位論文摘要近年來，深度學(xué)習(xí)技術(shù)已成為人工智能領(lǐng)域的研究熱點(diǎn)，各

2、種深度模型廣泛應(yīng)用于各個(gè)領(lǐng)域.深度神經(jīng)網(wǎng)絡(luò)模型是一個(gè)模擬人類大腦學(xué)習(xí)機(jī)制的過程，采用含有多個(gè)隱層的神經(jīng)網(wǎng)絡(luò)對(duì)圖像、文本、語音等數(shù)據(jù)進(jìn)行特征學(xué)習(xí)，然后將學(xué)習(xí)到的特征與分類器進(jìn)行結(jié)合從而進(jìn)行分類識(shí)別等.論文以自編碼神經(jīng)網(wǎng)絡(luò)為研究對(duì)象，以文本分類為研究目的，主要從兩個(gè)方面提高網(wǎng)絡(luò)訓(xùn)練速度及文本分類準(zhǔn)確率，主要研究工作如下：首先，針對(duì)自編碼神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，各層神經(jīng)元之間的Sigmoid激活函數(shù)反向傳播梯度易消失的問題，在原有的SAE算法中引

3、用了一種新的激活函數(shù)ReLU，從而減少了計(jì)算量，提高了網(wǎng)絡(luò)的訓(xùn)練速度；其次，針對(duì)自編碼神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法在形成特征表達(dá)時(shí)需調(diào)節(jié)優(yōu)化大量參數(shù)使網(wǎng)絡(luò)訓(xùn)練時(shí)間加長(zhǎng)、BP算法易陷入局部最小的問題，將逐層貪婪初始化思想引入到稀疏濾波的學(xué)習(xí)算法中，提出了基于Layerwise思想的稀疏濾波特征學(xué)習(xí)算法.通過在Reuters21578文本分類標(biāo)準(zhǔn)測(cè)試集上的實(shí)驗(yàn)驗(yàn)證，表明在SAE算法中使用ReLU作為激活函數(shù)以及所提出的算法可以有效地提高網(wǎng)絡(luò)訓(xùn)練速度，并