前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)研究及其復(fù)雜化工過程建模應(yīng)用.pdf

1、流程工業(yè)的飛快發(fā)展使得該行業(yè)呈現(xiàn)出一些特點(diǎn):生產(chǎn)過程高非線性、相關(guān)變量多維性、工藝高度復(fù)雜和流程高度綜合等，因此導(dǎo)致采用第一原理即機(jī)理分析的方法用于過程建模越來越棘手。近些年，先進(jìn)的傳感技術(shù)使得過程數(shù)據(jù)越來越容易被采集和存儲，這些過程數(shù)據(jù)背后蘊(yùn)含著重要的過程知識，所以基于數(shù)據(jù)驅(qū)動策略的方法在解決復(fù)雜流程工業(yè)過程建模的問題中發(fā)揮著越來越重要的作用。
　　眾多數(shù)據(jù)驅(qū)動的方法中，神經(jīng)網(wǎng)絡(luò)技術(shù)由于其具有學(xué)習(xí)、并行計(jì)算以及強(qiáng)非線性映射的能力

2、已被廣泛成功地應(yīng)用到建模、控制、優(yōu)化等諸多領(lǐng)域。前饋神經(jīng)網(wǎng)絡(luò)因其結(jié)構(gòu)簡單和算法易用等特點(diǎn)受到越來越多的關(guān)注。然而傳統(tǒng)前饋網(wǎng)絡(luò)模型并不能夠滿足復(fù)雜流程工業(yè)過程建模的要求，由此研究建立性能優(yōu)越的前饋網(wǎng)絡(luò)模型對豐富神經(jīng)網(wǎng)絡(luò)模型和進(jìn)一步推動神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用于復(fù)雜流程工業(yè)過程建模具有重大的意義。
　　本文主要從遞階結(jié)構(gòu)設(shè)計(jì)和雙并行結(jié)構(gòu)設(shè)計(jì)對遞階神經(jīng)網(wǎng)絡(luò)和極限學(xué)習(xí)機(jī)兩種前饋網(wǎng)絡(luò)展開研究，最終將其應(yīng)用于復(fù)雜化工過程建模。遞階神經(jīng)網(wǎng)絡(luò)是一種善于處

3、理高維數(shù)據(jù)的網(wǎng)絡(luò)模型，然而其子網(wǎng)結(jié)構(gòu)設(shè)計(jì)一直是個難點(diǎn)。極限學(xué)習(xí)機(jī)為近些年來機(jī)器學(xué)習(xí)領(lǐng)域的研究的熱點(diǎn)之一，該模型具有快速的學(xué)習(xí)速度和較好的泛化性能。然而面對帶有噪聲、共線性等特點(diǎn)的過程數(shù)據(jù)，極限學(xué)習(xí)機(jī)模型仍存在一些問題:1、噪聲處理性能低;2、傳統(tǒng)三層結(jié)構(gòu)限制模型性能;3、共線性數(shù)據(jù)對性能影響大。本文逐一解決上述問題，旨在為復(fù)雜化工過程建模特定問題下提供可靠的網(wǎng)絡(luò)模型，最終取得一些研究成果總結(jié)如下:
　　(1)針對遞階神經(jīng)網(wǎng)絡(luò)子網(wǎng)設(shè)

4、計(jì)困難的問題，提出一種基于輸入屬性空間劃分的子網(wǎng)設(shè)計(jì)方法，進(jìn)而建立基于輸入屬性空間劃分的遞階神經(jīng)網(wǎng)絡(luò)，為多參數(shù)輸入的復(fù)雜化工過程提供可靠的模型。該子網(wǎng)設(shè)計(jì)方法避免繁瑣的專家知識，首先采用先進(jìn)的可拓聚類算法對輸入屬性的高維空間進(jìn)行聚類;然后依據(jù)輸入屬性空間的聚類結(jié)果確定遞階神經(jīng)網(wǎng)絡(luò)的子網(wǎng)個數(shù);最后依據(jù)每個子屬性空間的輸入屬性確定子網(wǎng)的輸入。該設(shè)計(jì)方法能夠同時解決子網(wǎng)數(shù)目確定以及子網(wǎng)輸入屬性選取的兩個難題，從而提供一種簡單有效設(shè)計(jì)遞階神經(jīng)網(wǎng)

5、絡(luò)子網(wǎng)的方法。
　　(2)針對極限學(xué)習(xí)機(jī)處理噪聲性能低的問題，提出一種具有遞階結(jié)構(gòu)的極限學(xué)習(xí)機(jī)模型。所提出的遞階極限學(xué)習(xí)機(jī)模型中，原輸入變量沒有直接作為模型的輸入，而是先輸入到自聯(lián)想濾波子網(wǎng)，一方面去除噪聲，另一方面對多維輸入空間實(shí)現(xiàn)降維;隨后將自聯(lián)想濾波子網(wǎng)的隱含層輸出數(shù)據(jù)作為極限學(xué)習(xí)機(jī)的輸入，進(jìn)而有效地避免噪聲對模型精度的影響。采用帶有噪聲的工業(yè)數(shù)據(jù)對模型進(jìn)行測試，仿真結(jié)果驗(yàn)證了該模型的有效性和可行性。
　　(3)針對極

6、限學(xué)習(xí)機(jī)三層網(wǎng)絡(luò)結(jié)構(gòu)的限制問題，采用基于雙并行結(jié)構(gòu)的設(shè)計(jì)方法增強(qiáng)網(wǎng)絡(luò)性能。雙并行結(jié)構(gòu)能夠較好解決極限學(xué)習(xí)機(jī)中的結(jié)構(gòu)限制問題，但會帶來另外兩個問題:1、增加極限學(xué)習(xí)機(jī)模型復(fù)雜性;2、增加共線性信息。為解決第一個問題，通過研究雙并行網(wǎng)絡(luò)結(jié)構(gòu)以及皮爾遜相關(guān)系數(shù)，提出一種輸入輸出皮爾遜相關(guān)系數(shù)導(dǎo)向的雙并行極限學(xué)習(xí)機(jī)模型。該模型中利用輸入輸出屬性間的相關(guān)系數(shù)將輸入屬性分為正、負(fù)兩種屬性，隨后建立正、負(fù)屬性相互獨(dú)立的雙并行結(jié)構(gòu)。工業(yè)數(shù)據(jù)仿真結(jié)果表明

7、與傳統(tǒng)的雙并行極限學(xué)習(xí)機(jī)以及極限學(xué)習(xí)機(jī)模型相比，所提出的改進(jìn)雙并行極限學(xué)習(xí)機(jī)模型參數(shù)數(shù)目少、響應(yīng)速度快等特點(diǎn)。
　　(4)針對極限學(xué)習(xí)機(jī)不能較好處理雙并行結(jié)構(gòu)中共線性數(shù)據(jù)的問題，提出一種基于偏最小二乘學(xué)習(xí)的穩(wěn)健雙并行極限學(xué)習(xí)機(jī)模型。該模型采用偏最小二乘學(xué)習(xí)算法代替原來廣義逆的學(xué)習(xí)方法來求取輸出權(quán)值。偏最小二乘算法一方面能夠有效的剔除原輸入數(shù)據(jù)間以及隱含層節(jié)點(diǎn)輸出數(shù)據(jù)間的共線性信息，另一方面通過選取隱含變量數(shù)目有效避免了隱含層節(jié)點(diǎn)數(shù)