Sum-of-Product神經(jīng)網(wǎng)絡和徑向基函數(shù)神經(jīng)網(wǎng)絡的逼近能力研究.pdf

1、神經(jīng)網(wǎng)絡理論在近年來得到了迅速發(fā)展．神經(jīng)網(wǎng)絡的逼近能力是考察神經(jīng)網(wǎng)絡性能的重要一環(huán)．實際應用問題中要逼近的映射通常非常復雜，我們不能期待完全精確計算這些未知的映射．現(xiàn)在比較流行的趨勢是用神經(jīng)網(wǎng)絡計算一元函數(shù)或其它簡單函數(shù)的復合和線性組合逼近靜態(tài)映射．這與如下的問題相關：是否，或在什么條件下，一族神經(jīng)網(wǎng)絡輸出函數(shù)在某個多元函數(shù)空間中稠密?即神經(jīng)網(wǎng)絡的逼近能力的研究．神經(jīng)網(wǎng)絡的逼近能力問題作為神經(jīng)網(wǎng)絡的一個基本問題，隨著神經(jīng)網(wǎng)絡的發(fā)展，引起

2、了工程界和數(shù)學家們的廣泛關注．稠密性是理論上能夠逼近函數(shù)的能力，滿足稠密性并不意味著這種形式是一種有效的逼近格式．然而，缺少稠密性的保證就意味著一些網(wǎng)絡是不可能作逼近應用的．對于神經(jīng)網(wǎng)絡的逼近問題，在數(shù)學上講可以分為四個方面：函數(shù)逼近，函數(shù)族逼近(強逼近)，連續(xù)泛函逼近以及連續(xù)算子逼近．迄今，人們提出了很多神經(jīng)網(wǎng)絡模型，應用最廣泛的是前饋神經(jīng)網(wǎng)絡，所以各種前饋網(wǎng)絡的逼近能力的研究任務更加急迫． 學者們對徑向基函數(shù)(RBF)神經(jīng)網(wǎng)

3、絡的逼近能力已有了深入的研究，然而已有研究結果仍需要發(fā)展和完善．同時，學者們在研究神經(jīng)網(wǎng)絡對函數(shù)族的逼近能力時，都是利用了已有的多層感知器(MLP)和RBF神經(jīng)網(wǎng)絡的函數(shù)逼近能力定理，得到了這兩種不同網(wǎng)絡的強逼近結果，那么對一般的前饋網(wǎng)絡的函數(shù)逼近性和強逼近性之間是不是也存在著這種聯(lián)系呢?這一問題對提出統(tǒng)一的逼近理論框架具有重要的實際意義． Sum-of-Product神經(jīng)網(wǎng)絡和Sigma-Pi-Sigma神經(jīng)網(wǎng)絡是分別于200

4、0年和2003年提出的，它們都是由求積神經(jīng)元和求和神經(jīng)元構成的多層神經(jīng)網(wǎng)絡，試圖解決經(jīng)典RBF網(wǎng)絡和MLP網(wǎng)絡遇到的存儲記憶量大和學習困難的問題．這兩種網(wǎng)絡在函數(shù)逼近、預測、分類和學習控制任務中都有很好的表現(xiàn)．本論文分別討論了這兩種神經(jīng)網(wǎng)絡的一致逼近能力和Lp逼近能力． 已有的神經(jīng)網(wǎng)絡逼近理論主要是存在性地證明了神經(jīng)網(wǎng)絡的逼近能力，我們應用一種構造型方法證明了具有RBF型和平移伸縮不變(TDI)型隱單元的三層前饋神經(jīng)網(wǎng)絡只需隨機

5、選擇隱單元的權值參數(shù)，然后適當調(diào)整新增的隱單元和輸出單元之間的權值，網(wǎng)絡輸出函數(shù)就能夠以任意精度逼近L2(Rd)中任意函數(shù)．同時，我們的結果給出了一種自然地建立漸增網(wǎng)絡逼近L2(Rd)中函數(shù)的方法． 形如g(a·x)的嶺函數(shù)及其線性組合，在拓撲學、神經(jīng)網(wǎng)絡、統(tǒng)計學、調(diào)和分析和逼近理論中都有廣泛應用．這里g是一元函數(shù)，a·x表示歐氏空間Rn中內(nèi)積．確定在什么程度上函數(shù)表示成嶺函數(shù)的和的表達方式是唯一的，是非常重要的課題．已有的這方

6、面的研究結果考慮的是g∈C(R)和g∈L1loc(R)的情況，我們將相應的結論推廣到g∈Lploc(R)(1≤p<∞)和g∈￠'(R)的情況．另外，如果一個函數(shù)能夠表示成嶺函數(shù)的和，函數(shù)本身和每個和分量的光滑性之間的關系也是本論文關心的問題． 本論文的結構和內(nèi)容如下： 第一章回顧了神經(jīng)網(wǎng)絡的相關基礎知識，介紹了神經(jīng)網(wǎng)絡的逼近能力理論研究意義、方法和研究現(xiàn)狀． 第二章主要研究了一個函數(shù)如果能夠表示成嶺函數(shù)的和，其表

7、達式的唯一性問題．我們證明了如果f(x)=∑mi=1gi(αi·x)=0，ai=(ail，…，ain)∈Rn＼{0}兩兩線性無關，并且gi∈Lploc(R)(或gi∈￠'(R)，gi(a·x)∈￠'(Rn))，那么每個gi是一個次數(shù)不超過m-2次的多項式．此外，我們還給出了嶺函數(shù)線性組合的一個光滑性定理． 第三章給出了RBF神經(jīng)網(wǎng)絡在Lp空間中的函數(shù)逼近能力以及強逼近和算子逼近能力的結果．這些結果改進了陳天平和蔣傳海等人最近在R

8、BF神經(jīng)網(wǎng)絡逼近方面的結果，為RBF神經(jīng)網(wǎng)絡的應用提供了理論基礎．另外，我們還得到了前饋神經(jīng)一般形式的強逼近定理，現(xiàn)有的很多結果都是它的特例． 第四章指出了R上的連續(xù)函數(shù)作為Sum-of-Product神經(jīng)網(wǎng)絡的激活函數(shù)時，網(wǎng)絡所生成函數(shù)集合在C(K)中稠密的充分必要條件是它不是多項式．進一步地，我們還給出了Sigma-Pi-Sigma神經(jīng)網(wǎng)絡所生成的函數(shù)集合在C(K)中稠密的充分必要條件． 第五章揭示了Sum-of-P

9、roduct神經(jīng)網(wǎng)絡所生成的函數(shù)集合在Lp(K)中稠密的充要條件．另外，我們根據(jù)Sum-of-Product神經(jīng)網(wǎng)絡的逼近結果，討論了Sigma-Pi-Sigma神經(jīng)網(wǎng)絡的Lp逼近能力． 第六章研究了具有隨機隱單元的三層漸增前饋神經(jīng)網(wǎng)絡對L2(Rd)中函數(shù)的逼近能力．主要討論了具有RBF型和平移伸縮不變(TDI)型隱單元的前饋神經(jīng)網(wǎng)絡．我們指出了對于具有RBF型隱單元的網(wǎng)絡，給定非零激活函數(shù)g：R→R且g(‖x‖Rd)∈L2(R