基于壓縮感知與神經(jīng)網(wǎng)絡的若干學習算法的誤差估計.pdf

1、分類與回歸是機器學習領域的兩大重要問題.研究過程中,人們通常采用與之相關(guān)的學習算法來處理這兩類問題.由于學習算法的泛化性能是通過學習算法的泛化誤差界來刻畫的,為此,研究學習算法的泛化誤差界對衡量算法的泛化性能有著重要的指導意義.
　　本文以壓縮感知理論、統(tǒng)計學習理論以及神經(jīng)網(wǎng)絡的逼近理論為基礎,系統(tǒng)地研究了最小平方回歸學習算法、最小平方正則回歸學習算法、壓縮的最小平方回歸學習算法以及壓縮分類學習算法的泛化誤差界并獲得了如下結(jié)果:<

2、br>　　(1)利用神經(jīng)網(wǎng)絡構(gòu)造假設空間,借用最小二乘思想并結(jié)合神經(jīng)網(wǎng)絡的逼近理論、覆蓋數(shù)理論以及統(tǒng)計學習中的概率不關(guān)系,建立了基于神經(jīng)網(wǎng)絡的最小平方回歸學習算法的泛化誤差上界.
　　(2)建立了基于神經(jīng)網(wǎng)絡與強混合樣本的最小平方正則回歸學習算法的泛化誤差上界.
　　(3)將壓縮感知理論中的壓縮投影技術(shù)引入到學習理論中,實現(xiàn)了對線性假設空間的降維處理,建立了基于一定條件下的線性假設空間和獨立同分布樣本的壓縮的最小平方回歸學習