基于信息幾何的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)問題研究.pdf

1、從上世紀(jì)80年代起，神經(jīng)網(wǎng)絡(luò)的研究引起了人們的高度重視，其應(yīng)用范圍廣泛，涉及模式識別、函數(shù)逼近、智能控制、數(shù)據(jù)挖掘和知識發(fā)現(xiàn)等諸多領(lǐng)域，并取得了可喜的成績。但在應(yīng)用中，尤其在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方面還面臨著一系列的問題，比如如何確定網(wǎng)絡(luò)結(jié)構(gòu)、過學(xué)習(xí)與欠學(xué)習(xí)、知識可增殖學(xué)習(xí)等問題。這些嚴(yán)重影響著神經(jīng)網(wǎng)絡(luò)的整體性能。如何解決神經(jīng)網(wǎng)絡(luò)面臨的問題，建立有效的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機制是神經(jīng)網(wǎng)絡(luò)應(yīng)用迫切需要解決的課題?；谖⒎謳缀巍⑿畔⒄撘约敖y(tǒng)計學(xué)的信息幾何理論，

2、是研究非結(jié)構(gòu)化、非線性空間更合理的方法和手段。以應(yīng)用該理論為代表的整體結(jié)構(gòu)的研究，是人工神經(jīng)網(wǎng)絡(luò)下一步發(fā)展的重要方向和突破點之一。 本文主要以信息幾何理論為基礎(chǔ)，對神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的幾個關(guān)鍵問題如結(jié)構(gòu)學(xué)習(xí)、學(xué)習(xí)機制及增殖學(xué)習(xí)問題做了研究，提出了基于信息幾何的模型選擇準(zhǔn)則、給出了對網(wǎng)絡(luò)修剪法的信息幾何理論解釋并提出了信息幾何的網(wǎng)絡(luò)構(gòu)建和優(yōu)化算法、提出了簡化的層次化神經(jīng)系統(tǒng)模型、提出了模塊化網(wǎng)絡(luò)是真正實現(xiàn)網(wǎng)絡(luò)知識增殖學(xué)習(xí)的有效途徑并從

3、信息幾何的角度作了論證。主要創(chuàng)新工作有： 1.提出了一種基于信息幾何的模型選擇準(zhǔn)則IGMSC，并給出了理論分析與實驗驗證。該準(zhǔn)則利用模型流形的內(nèi)在幾何特性及模型流形與數(shù)據(jù)流形的幾何位置關(guān)系來評價模型的復(fù)雜度與模型-數(shù)據(jù)擬合度，具有參數(shù)表示不變性的特點，賦予了復(fù)雜度與擬合度清晰的幾何意義，為數(shù)據(jù)模型的選擇提供了理論上的支持，實驗結(jié)果也證實了準(zhǔn)則的可行性與有效性。 2.給出了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)修剪法的信息幾何理論解釋，并提出了基于

4、子流形投影的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建和優(yōu)化算法SPP。使用信息幾何理論證明了修剪法的理論可行性，將修剪過程表述為一系列信息投影問題，詮釋了修剪法的作用機理，為提出更有效的網(wǎng)絡(luò)構(gòu)建和優(yōu)化策略提供理論基礎(chǔ)和依據(jù)。在此基礎(chǔ)上提出了基于信息幾何的修剪法SPP，該算法具有可靠的數(shù)學(xué)基礎(chǔ)以及明確的數(shù)學(xué)機理。實驗結(jié)果證明了方法的可行性與有效性。 3.提出了一種簡化的模擬人類思維層次的層次化神經(jīng)系統(tǒng)模型，并利用基于信息幾何的神經(jīng)場學(xué)習(xí)理論解釋了不同層次