深度卷積神經(jīng)網(wǎng)絡(luò)中基于序的池化方法研究.pdf

1、在深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks,CNNs）中，池化是一個(gè)關(guān)鍵機(jī)制，有利于CNNs獲得具有平移不變性的特征。大量的經(jīng)驗(yàn)和理論研究表明，池化能夠有效的提升CNNs的性能。傳統(tǒng)的池化操作一般是基于激活值的。本文提出一種基于序的池化機(jī)制。提出這種池化方法的動(dòng)機(jī)是，在池化域內(nèi)，激活值的序只與激活值的大小關(guān)系有關(guān)，而與其實(shí)際大小無關(guān)?；诩せ钪档男蛴?jì)算池化輸出有利于獲得更加魯棒的特征。此外，通過合理的

2、使用激活值的序能夠有效地避免基于值的方法所面臨的數(shù)據(jù)尺度問題。
　　基于序的池化方法可以視為一種加權(quán)池化，也就是將池化域內(nèi)所有激活值的加權(quán)和作為池化輸出。根據(jù)加權(quán)方式的不同，本文提出三種新的池化操作：基于序的平均池化、基于序的加權(quán)池化和基于序的隨機(jī)池化。作為另外一個(gè)重要貢獻(xiàn)，本文引入判別熵的概念，提出一種評(píng)估池化方法判別能力的準(zhǔn)則。
　　在圖像識(shí)別和人群計(jì)數(shù)兩個(gè)計(jì)算機(jī)視覺任務(wù)上評(píng)價(jià)提出的方法。在圖像識(shí)別任務(wù)上，四個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集

3、（MNIST、CIFAR-10、CIFAR-100和NORB）上的實(shí)驗(yàn)結(jié)果表明，提出的基于序的池化方法相比于已有方法有更好的識(shí)別表現(xiàn)。為了進(jìn)一步展示提出方法的優(yōu)越性，將基于序的隨機(jī)池化方法與NIN（Network-in-Network）網(wǎng)絡(luò)結(jié)合，在CIFAR-10和CIFAR-100數(shù)據(jù)集上獲得了更加優(yōu)異的識(shí)別效果。在人群計(jì)數(shù)任務(wù)上，針對(duì)攝像機(jī)透視效果、圖像背景、人群密度分布不均勻和行人遮擋等問題，提出一種基于序的空間金字塔池化網(wǎng)絡(luò)的人

4、群計(jì)數(shù)方法。該方法將原圖像分成多個(gè)具有相同透視范圍的子區(qū)域并在各個(gè)子區(qū)域分別取不同尺度的子圖像塊，采用基于序的空間金字塔池化網(wǎng)絡(luò)估計(jì)子圖像塊人數(shù)，然后相加所有子圖像塊人數(shù)得出原圖像人數(shù)。提出的圖像分塊方法有效地消除了攝像機(jī)透視效果和人群密度分布不均勻?qū)τ?jì)數(shù)的影響。提出的基于序的空間金字塔池化不僅能夠處理多種尺度的子圖像塊，而且解決了傳統(tǒng)池化方法易損失大量重要信息和易過擬合的問題。在UCSD標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文方法相比于傳統(tǒng)方