深度學習中的自編碼器的表達能力研究.pdf

1、作為機器學習系統(tǒng)的原材料，特征對于最終模型的影響毋庸置疑。機器學習算法的性能在很大程度上取決于特征表達的選擇，當數(shù)據(jù)能夠被很好的表達為特征時，即便使用簡單的模型也可達到滿意的精度。故在實際應用機器學習算法時，很重要的一個步驟是怎樣預處理數(shù)據(jù)來得到一個好的特征表達。在圖像處理領(lǐng)域，原始像素值作為初級的特征表達通常維度很高，需要采用合適的方法對圖像高維特征進行處理，得到更加簡潔而有效的特征表達。數(shù)據(jù)降維作為一個研究熱點問題，它的關(guān)鍵思想是把

2、高維數(shù)據(jù)有效地在低維空間中表示，發(fā)現(xiàn)高維數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，從而找到一個好的、有效的低維特征表達。低維特征保留了原始高維數(shù)據(jù)里的重要信息，同時可以使后續(xù)的處理變得更加容易。在圖像處理領(lǐng)域中，這是一個備受關(guān)注的方向，具有重大的理論意義和實際價值。
　　深度學習框架和非監(jiān)督學習方法近年來越來越流行，吸引了很多機器學習和人工智能領(lǐng)域研究者們的興趣。最近的研究結(jié)果也證明了深度學習方法確實能夠取得非常好的結(jié)果，無論是在圖像、語音或是自然語言處理

3、領(lǐng)域。雖然深度學習方法取得了很好的結(jié)果，被廣泛應用，但實際上它有點像是一個“黑箱子”，沒有非常充分并且嚴格的理論體系來支撐，我們不知道為什么它可以取得這樣好的結(jié)果。
　　基于以上，本文從深度學習中的“構(gòu)造模塊”入手，主要研究自編碼器的表達能力，重點為自編碼器在數(shù)據(jù)降維方面的能力以及自編碼器表達能力的穩(wěn)定性。具體研究內(nèi)容如下：
　　第一，在深度學習方向，人們往往是通過采用越來越深的模型和越來越復雜的非監(jiān)督學習算法，來取得進步。

4、本文從深度學習方法的“構(gòu)造模塊”入手，也就是單層的自編碼器（AE）和單層的限制玻爾茲曼機（RBM）。這兩種方法都可以作為表達轉(zhuǎn)換的方法，學到一個原始數(shù)據(jù)的新的表達，而當限制第二層的節(jié)點數(shù)小于第一層的節(jié)點數(shù)時，又可以同時達到對原始高維數(shù)據(jù)降維的效果。本文期望能夠從深度學習的基礎方法入手，來更好地理解深度學習。
　　第二，作為線性降維方法的代表，主成分分析法（PCA）是一個簡單而又被廣泛應用的方法，同時，自編碼器和限制玻爾茲曼機也可以

5、看作相對較新的非線性降維方法。本文試圖更好地理解單層自編碼器和單層限制玻爾茲曼機。由于這兩種方法大體思路是一致的，主要在訓練過程不同，在實驗部分，我們著重在自編碼器的部分，探究單層自編碼器的表達能力，與主成分分析法做比較。
　　第三，本文重點探究了對于視覺特征的理解，自編碼器是否是一個好的表達轉(zhuǎn)換途徑。我們評估了單層自編碼器分別基于原始像素和基于局部描述子的降維作用及表達能力的穩(wěn)定性，與傳統(tǒng)方法主成分分析法進行比較。在基于原始像素

6、的部分，我們在MNIST數(shù)據(jù)集上實現(xiàn)了兩種表達轉(zhuǎn)換和一個softmax分類器，探究算法性能如何隨著轉(zhuǎn)換得到的新的表達維數(shù)的變化而變化，通過算法的性能來評估單層自編碼器基于原始像素的降維作用及表達能力的穩(wěn)定性。在基于局部描述子的部分，我們通過SIFT匹配結(jié)果來評估單層自編碼器基于局部描述子——SIFT描述子的降維作用及表達能力的穩(wěn)定性?；谠枷袼睾突诰植棵枋鲎拥膶嶒灦简炞C了單層自編碼器的降維作用，要優(yōu)于主成分分析法，以及單層自編碼器表