深度時(shí)空推理網(wǎng)絡(luò)的擴(kuò)展與應(yīng)用.pdf

1、深度學(xué)習(xí)近年來(lái)受到了越來(lái)越多的關(guān)注，其主要特點(diǎn)是利用不同的機(jī)器學(xué)習(xí)方法，在一個(gè)多層次的非線性變換系統(tǒng)中，通過(guò)不斷對(duì)低層特征進(jìn)行抽象，從而實(shí)現(xiàn)表征學(xué)習(xí)的任務(wù)。
　　在眾多的深度學(xué)習(xí)系統(tǒng)中，Itamar[6,7]等人提出的深度時(shí)空推理網(wǎng)絡(luò)，其出發(fā)點(diǎn)是模擬人腦的新皮層的工作機(jī)制，并在訓(xùn)練過(guò)程中，結(jié)合了無(wú)監(jiān)督學(xué)習(xí)和貝葉斯推理。這種既具有生物學(xué)證據(jù)又有良好數(shù)學(xué)理論支撐的模型，在不同的測(cè)試中均展現(xiàn)出其非凡的應(yīng)用潛力，然而在將這種潛力轉(zhuǎn)化為真實(shí)

2、的能力之前，仍有若干關(guān)鍵問(wèn)題亟待解決:
　　1.現(xiàn)有的DeSTIN對(duì)帶有噪聲靜態(tài)圖片進(jìn)行特征提取時(shí)，特征會(huì)出現(xiàn)跳躍性更新，網(wǎng)絡(luò)的噪聲魯棒性較差。
　　2.由于缺乏對(duì)特征之間轉(zhuǎn)換關(guān)系的表征，現(xiàn)有DeSTIN無(wú)法適應(yīng)對(duì)視頻序列的特征提取。
　　基于上述研究背景，我們?cè)贒eSTIN網(wǎng)絡(luò)特征提取方面作了一系列研究，本文工作的意義在于提出了一套行之有效的新理論、新方法，系統(tǒng)地論述了1）如何提高DeSTIN網(wǎng)絡(luò)在噪聲環(huán)境下的噪聲魯

3、棒性的解決方案2）如何利用DeSTIN網(wǎng)絡(luò)對(duì)視頻序列進(jìn)行特征提取的關(guān)鍵技術(shù)。
　　具體來(lái)說(shuō)，本文主要提出了以下創(chuàng)新性方法:
　　1.基于online EM的DeSTIN算法:為了進(jìn)一步提升DeSTIN的性能，尤其是噪聲魯棒性，使用Online Expectation-Maximization來(lái)替代DeSTIN中原有的無(wú)監(jiān)督聚類(lèi)方法，從而得到一種改進(jìn)的深度神經(jīng)網(wǎng)絡(luò)EM DeSTIN。通過(guò)理論分析，我們證明了新的在線聚類(lèi)方法可以

4、使得EM-DeSTIN具有更好的收斂性和穩(wěn)定性;而通過(guò)在數(shù)據(jù)集MNIST上的實(shí)驗(yàn)也進(jìn)一步證明了EM-DeSTIN相對(duì)于DeSTIN和一些主流的深度系統(tǒng)而言，在噪聲魯棒性和識(shí)別準(zhǔn)確率上都有了較大的提升。
　　2.融合Ma rkov的DeSTIN算法:鑒于現(xiàn)有的DeSTIN只能很好的提取靜態(tài)圖片，對(duì)于動(dòng)態(tài)的視頻序列無(wú)法表征序列元素之間的轉(zhuǎn)換關(guān)系。本文針對(duì)此難題，我們提出了一種融合Markov的DeSTIN算法（Markov DeSTI