人工神經(jīng)網(wǎng)絡(luò)在認(rèn)知科學(xué)的研究中的應(yīng)用狀況優(yōu)秀畢業(yè)論文

1、<p>　　題目類型： 論文 </p><p>　　(設(shè)計(jì)、論文、報(bào)告)</p><p>　　本科畢業(yè)設(shè)計(jì)(論文)</p><p>　　題目： 人工神經(jīng)網(wǎng)絡(luò)在認(rèn)知科學(xué)的研究</p><p>　　中的應(yīng)用狀況的報(bào)告 </p><p>　　學(xué) 院： 機(jī)械與控制工程

2、學(xué)院 </p><p>　　專業(yè)(方向)： 自動(dòng)化（控制） </p><p>　　班 級(jí)： </p><p>　　學(xué) 生： </p><p>　　指導(dǎo)教師： </p><p&g

3、t;<b>　　2015年6月1日</b></p><p><b>　　摘 要</b></p><p>　　人工神經(jīng)網(wǎng)絡(luò)是一種基于生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和機(jī)制的算法或模型。認(rèn)知科學(xué)是一種研究人類大腦處理認(rèn)知信號(hào)并做出反應(yīng)過程的科學(xué)。利用對(duì)人類認(rèn)知現(xiàn)象的了解來設(shè)計(jì)的人工神經(jīng)網(wǎng)絡(luò)具有很好的處理信息的能力，這對(duì)現(xiàn)實(shí)應(yīng)用很有幫助?，F(xiàn)在，人工神經(jīng)網(wǎng)絡(luò)模擬認(rèn)

4、知科學(xué)已經(jīng)成為了人工智能的重要分支。</p><p>　　首先簡(jiǎn)單說明了人類大腦神經(jīng)元特點(diǎn)，生物神經(jīng)元的簡(jiǎn)單組成和復(fù)雜聯(lián)系構(gòu)成了生物神經(jīng)網(wǎng)絡(luò)模型。其次簡(jiǎn)述了人工智能和認(rèn)知科學(xué)的歷史，從古希臘哲學(xué)認(rèn)知研究到現(xiàn)代的人工神經(jīng)網(wǎng)絡(luò)模擬認(rèn)知。接著總結(jié)了典型的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，共有十五組經(jīng)典神經(jīng)網(wǎng)絡(luò)模型。然后重點(diǎn)論述了十個(gè)近年來關(guān)于人工神經(jīng)網(wǎng)絡(luò)模擬認(rèn)知的模型，主要從模型模擬認(rèn)知的優(yōu)勢(shì)、模型結(jié)構(gòu)、模型信息處理過程和模型應(yīng)用等方

5、面闡述。接著講述作者總結(jié)的人工神經(jīng)網(wǎng)絡(luò)模擬認(rèn)知現(xiàn)象的發(fā)展規(guī)律，即模型機(jī)制的完全生物性與部分生物性問題。再接著介紹了五個(gè)關(guān)于人工智能神經(jīng)網(wǎng)絡(luò)國(guó)際會(huì)議，特別列出了會(huì)議的投稿主題。最后，對(duì)人工神經(jīng)網(wǎng)絡(luò)模擬認(rèn)知的發(fā)展趨勢(shì)做預(yù)測(cè)，多學(xué)科綜合和復(fù)雜性成為未來神經(jīng)網(wǎng)絡(luò)研究的方向。</p><p>　　關(guān)鍵詞：人工神經(jīng)網(wǎng)絡(luò)；認(rèn)知；國(guó)際會(huì)議</p><p>　　The report that the sit

6、uation of artificial neural network on the study of cognition science in recent years</p><p>　　Student:LIANG Cheng-he teacher:XU Jian-yu</p><p>　　Abstract: Artificial neural network which is ba

7、sed on the structure and theory of biological neural network is algorithm and model. Cognition science is a subject which discusses the process of disposing information and response. Artificial neural network have the ca

8、pability of dealing with information which is designed for understand biological cognition phenomenon on cognition science better than other model, and it is useful to the need of the reality. In recent years, artificial

9、 neural netwo</p><p>　　First，we introduce that the characteristics of human being of brain neurons, which is made up of simple element and complex connection, and the history of the artificial intelligence a

10、nd cognitive science from ancient Greek philosophy to artificial neural network model of cognition in recent years. Next, we summarize that the typical structure of the artificial neural network, together fifteen neural

11、network models. Then, we discuss that the ten artificial neural networks which are model of the </p><p>　　Key words: artificial neural network；cognition；international conference</p><p><b>

12、　　目 次</b></p><p><b>　　摘 要I</b></p><p>　　Abstract:II</p><p><b>　　1 引言1</b></p><p>　　1.1 基本原理1</p><p>　　1.2 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史

13、2</p><p>　　1.3 文章內(nèi)容3</p><p>　　2 對(duì)神經(jīng)網(wǎng)絡(luò)發(fā)展有重要影響的神經(jīng)網(wǎng)絡(luò)模型4</p><p>　　3 模擬認(rèn)知的人工神經(jīng)網(wǎng)絡(luò)模型5</p><p>　　3.1 模擬記憶5</p><p>　　3.1.1 R-nets模型5</p><p>　　3.

14、1.2 非線性動(dòng)態(tài)人工神經(jīng)網(wǎng)絡(luò)模型6</p><p>　　3.1.3 競(jìng)爭(zhēng)網(wǎng)絡(luò)模型和周期聯(lián)想記憶模型7</p><p>　　3.1.4 計(jì)算機(jī)認(rèn)知神經(jīng)學(xué)模型9</p><p>　　3.2 模擬注意力10</p><p>　　3.2.1 注意運(yùn)動(dòng)推導(dǎo)模型10</p><p>　　3.3 模擬情緒12</

15、p><p>　　3.3.1 DUONN模型12</p><p>　　3.4 模擬語言12</p><p>　　3.4.1 語法理解模型12</p><p>　　3.4.2 數(shù)字空間模型13</p><p>　　3.4.3 多時(shí)間周期神經(jīng)網(wǎng)絡(luò)模型14</p><p>　　4 人工神經(jīng)網(wǎng)絡(luò)模

16、擬認(rèn)知現(xiàn)象現(xiàn)狀16</p><p>　　5 人工智能中關(guān)于人工神經(jīng)網(wǎng)絡(luò)和認(rèn)知科學(xué)的國(guó)際會(huì)議17</p><p>　　5.1 國(guó)際人工智能協(xié)會(huì)年會(huì)17</p><p>　　5.2 神經(jīng)信息處理系統(tǒng)年會(huì)17</p><p>　　5.3 國(guó)際神經(jīng)網(wǎng)絡(luò)年會(huì)18</p><p>　　5.4 國(guó)際人工智能聯(lián)合會(huì)議18

17、</p><p>　　5.5 國(guó)際人工智能工具會(huì)議18</p><p><b>　　6 未來19</b></p><p><b>　　7 結(jié)論20</b></p><p><b>　　致謝21</b></p><p><b>　　參

18、考文獻(xiàn)22</b></p><p><b>　　附錄124</b></p><p><b>　　1 引言</b></p><p><b>　　1.1 基本原理</b></p><p>　　現(xiàn)代人大腦的平均重量約為1400g，大腦內(nèi)約含1000億個(gè)神經(jīng)元，每個(gè)神

19、經(jīng)元與其他神經(jīng)元間有約1000個(gè)連接，大腦內(nèi)總共約有1000000億個(gè)連接。人腦的基本組成單元是神經(jīng)元，是一種特殊化學(xué)細(xì)胞。神經(jīng)元由樹突與軸突組成，樹突位于神經(jīng)元表面，軸突周圍有腱鞘。樹突與其他神經(jīng)元軸突末梢相聯(lián)系，構(gòu)成突觸。神經(jīng)元間信號(hào)傳遞是一種復(fù)雜的生物化學(xué)過程：電過程?？傊?，簡(jiǎn)單神經(jīng)元的復(fù)雜聯(lián)系構(gòu)成了人類智能的物質(zhì)基礎(chǔ)。</p><p>　　人的智能涉及許多領(lǐng)域，包括感知和認(rèn)知，語言能力及視覺功能，記憶，學(xué)

20、習(xí)與知識(shí)預(yù)測(cè)，自適應(yīng)和魯邦性，創(chuàng)新和發(fā)明，行動(dòng)和動(dòng)作，優(yōu)化，計(jì)劃、判斷和決定，博弈與對(duì)策，深層智能因素（意識(shí)，感情，意志，注意力，直覺，理解）[1]。其中認(rèn)知的研究，是本文討論的重點(diǎn)[1]。</p><p>　　人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)稱作神經(jīng)網(wǎng)絡(luò)，他是一種基于生物神經(jīng)網(wǎng)絡(luò)的功能和結(jié)構(gòu)的數(shù)學(xué)模型或計(jì)算模型。神經(jīng)網(wǎng)絡(luò)由人工神經(jīng)元組成，神經(jīng)元間相互連接構(gòu)成了神經(jīng)網(wǎng)絡(luò)系統(tǒng)。大多數(shù)情況下，人工神經(jīng)網(wǎng)絡(luò)是自適應(yīng)系統(tǒng)，在學(xué)習(xí)期間，他能

21、通過觀察流過網(wǎng)絡(luò)的外部或內(nèi)部信息來變換他的結(jié)構(gòu)，以適應(yīng)信息加工的變化?，F(xiàn)代神經(jīng)網(wǎng)絡(luò)是非線性統(tǒng)計(jì)數(shù)據(jù)模型工具，他們通常是在輸入和輸出關(guān)系復(fù)雜的模式或查詢數(shù)據(jù)中得到應(yīng)用。</p><p>　　認(rèn)知科學(xué)是一個(gè)交叉性學(xué)科，其研究思維和思維過程，探索什么是認(rèn)知、認(rèn)知做什么、怎么工作。其研究主要是在人類的智力和行為上，特別是人類的神經(jīng)系統(tǒng)。在神經(jīng)系統(tǒng)中信息怎樣表述、怎樣產(chǎn)生、怎樣轉(zhuǎn)換，是認(rèn)知科學(xué)的研究課題。認(rèn)知科學(xué)涉及心理學(xué)

22、、人工智能、哲學(xué)、神經(jīng)科學(xué)、語言學(xué)、社會(huì)學(xué)、教育學(xué)、人類學(xué)，其分析層次既有低水平學(xué)習(xí)和機(jī)械式?jīng)Q定又有高水平邏輯和計(jì)劃，不僅關(guān)注神經(jīng)元的連接而且關(guān)注大腦分子組織。</p><p>　　在研究人類認(rèn)知能力中，利用人工神經(jīng)網(wǎng)絡(luò)模型來模擬認(rèn)知能力是一種重要的研究方法。模擬認(rèn)知利用的是現(xiàn)有已知的認(rèn)知運(yùn)行機(jī)制，雖然這些機(jī)制并不完美，但通過模擬我們還是能利用其解決許多問題，甚至能透過人工神經(jīng)網(wǎng)絡(luò)模型進(jìn)一步了解認(rèn)知。這類人工神經(jīng)

23、網(wǎng)絡(luò)的模擬理論，被稱為聯(lián)結(jié)主義。聯(lián)結(jié)主義的原理是神經(jīng)網(wǎng)絡(luò)及神經(jīng)網(wǎng)絡(luò)間連接機(jī)制與學(xué)習(xí)算法，理論認(rèn)為人的思維基元是神經(jīng)元，而不是符號(hào)處理過程。</p><p>　　人工神經(jīng)網(wǎng)絡(luò)發(fā)展起于20世紀(jì)，認(rèn)知科學(xué)研究起于古希臘哲學(xué)，而將人工神經(jīng)網(wǎng)絡(luò)用于研究認(rèn)知科學(xué)則是近幾十年的事。</p><p>　　1.2 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史[2]</p><p>　　早期：古希臘哲學(xué)，代表

24、人物Descartes，David Hume，Immanuel Kant，Benedict de Spinoza，Nicolas，Malebranche，Pierre Cabanis，Leibniz，John Locke，這個(gè)時(shí)期的認(rèn)知科學(xué)研究與現(xiàn)代認(rèn)知科學(xué)不同，其最終發(fā)展成了心理學(xué)和哲學(xué)。</p><p>　　啟蒙期：1880年美國(guó)心理學(xué)家William James出版了第一部詳細(xì)論述人腦結(jié)構(gòu)及功能的專著《pr

25、inciples of psychology》，對(duì)與學(xué)習(xí)、聯(lián)想記憶相關(guān)的基本原理做了開創(chuàng)性研究。1930年代到1940年代（自動(dòng)控制化時(shí)期），Warren Mcculloch 和Walter Pitts尋求解釋：思維的組織原則，第一次提出了人工神經(jīng)網(wǎng)絡(luò)。1943年生物學(xué)家W.S.McCulloch和數(shù)學(xué)家W.A.Pitts發(fā)表了一篇神經(jīng)網(wǎng)絡(luò)的文章，提出了神經(jīng)元的數(shù)學(xué)模型M-P模型。1949年心理學(xué)家Donald olding Hebb出

26、版了名為《organization of Behavior》的書，提出了Hebb算法的連結(jié)權(quán)值訓(xùn)練算法和聯(lián)結(jié)主義。1958年計(jì)算機(jī)學(xué)家Frank Rosenblatt發(fā)表文章提出了三層網(wǎng)絡(luò)特性的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，稱為“感知機(jī)”。 1940年代到1950年代，計(jì)算機(jī)理論和數(shù)字計(jì)算機(jī)的快速發(fā)展，Alan Turing和John von Neu mann在認(rèn)知科學(xué)研究中首次運(yùn)用了現(xiàn)代計(jì)算機(jī)理論和技術(shù)。1959年，Noam chomsky評(píng)論B.F

27、.Skinner的</p><p>　　低潮期：1969年M.Minsky和S.Papert評(píng)論“感知機(jī)”，認(rèn)為其存在無法擴(kuò)展到多層網(wǎng)絡(luò)的問題。1969年S.Grossberg和G.A.Carpenter提出了自適應(yīng)響應(yīng)理論模型。1972年T.Kohomen提出了自組織映射（SOM）理論。同年，J.Anderson也提出了一個(gè)相似的“交換存儲(chǔ)器”。 1973年，Christopher Longuet-Higgin

28、s在他的文獻(xiàn)Lighthill report中提到了認(rèn)知科學(xué)的術(shù)語。1980年到1983年Kunihiko Fukushima發(fā)表了文章《Neocognitron》，并開發(fā)了許多神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練算法</p><p>　　復(fù)興期：1982年John J.Hopfield發(fā)表文章提出了Hopfield網(wǎng)絡(luò)。1987年美國(guó)電話與電報(bào)公司貝爾實(shí)驗(yàn)室利用Hopfield網(wǎng)絡(luò)，仿真出耳蝸與視網(wǎng)膜等硬件網(wǎng)絡(luò)。同年G.E.Hi

29、nton和T.J.Sejnowski提出學(xué)習(xí)過程使用模擬退火技術(shù)的Blotzmann機(jī)（波爾茲曼機(jī)）。1988年David E.Rumelhart和James L.McCelland及其領(lǐng)導(dǎo)小組發(fā)表了《Parallel Distributed Processing》。</p><p>　　新時(shí)期：1987年6月首屆國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議在美國(guó)加州圣地亞哥召開，而且在會(huì)上成立了國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)（INNS）。1989年

30、Stephen Grossberg、Teuvo kohonen和Shunichi Amari主持創(chuàng)辦了世界第一份神經(jīng)網(wǎng)絡(luò)雜志《Neural Network》。</p><p><b>　　1.3 文章內(nèi)容</b></p><p>　　文章第二部分論述了部分對(duì)人工神經(jīng)網(wǎng)絡(luò)發(fā)展有重大影響的網(wǎng)絡(luò)模型，然后第三部分重點(diǎn)介紹了近十年內(nèi)十個(gè)模擬人類認(rèn)知的人工神經(jīng)網(wǎng)絡(luò)模型，分別從人

31、工神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)、優(yōu)勢(shì)和原理等方面論述。第四部分總結(jié)了作者對(duì)近年人工神經(jīng)網(wǎng)絡(luò)模擬認(rèn)知現(xiàn)象的發(fā)展規(guī)律。第五部分講述了五個(gè)國(guó)際著名的人工智能會(huì)議及投稿主題。第六部分對(duì)人工智能特別是人工神經(jīng)網(wǎng)絡(luò)模擬認(rèn)知的發(fā)展趨勢(shì)進(jìn)行了預(yù)測(cè)。</p><p>　　2 對(duì)神經(jīng)網(wǎng)絡(luò)發(fā)展有重要影響的神經(jīng)網(wǎng)絡(luò)模型[2]</p><p>　　Perceptron（感知機(jī)）Frank Rosenblatt（康奈爾大學(xué)）

32、在1957年提出的</p><p>　　Adaline（自適應(yīng)線性單位）和Madaline（多個(gè)Adaline的組合網(wǎng)絡(luò)）Bernard Widrow（斯坦福大學(xué)）在1960年到1962年提出的</p><p>　　Avakabche（雪崩網(wǎng)）：S.Drossberg在1967年提出</p><p>　　Cerellatron（小腦自動(dòng)機(jī)）D.Marr麻省理工學(xué)院在

33、1969年到1982年提出</p><p>　　Back Propagation（誤差反傳網(wǎng)絡(luò)）：P.Werbos（哈佛大學(xué)）、David Rumelhart（斯坦福大學(xué)）James McClelland（斯坦福大學(xué)）在1979年到1990年提出</p><p>　　Adaptive Resonance Theory（自適應(yīng)共振理論ART）有ART1、ART2、ART3三種類型G.Carp

34、enter和S Grossberg（波士頓大學(xué)）在1976年到1990年提出的</p><p>　　Brain State in a Box（盒中腦BSB網(wǎng)絡(luò)）James Anderson（布朗大學(xué)）在1977年提出</p><p>　　Neocognition（新認(rèn)知機(jī)）Fukushima（日本廣播協(xié)會(huì)）在1978年到1984年提出</p><p>　　Self-

35、Organizing feature map（自組織特征映射網(wǎng)絡(luò)）Tuevo Konhonen（芬蘭赫爾辛基技術(shù)大學(xué)）在1980年提出</p><p>　　Hopfield網(wǎng)絡(luò)John Hopfield（加州理工大學(xué)）在1982年提出</p><p>　　Boltzman machine（波爾茲曼機(jī)）和Cauchy machine（柯西機(jī)）J.Hinton（多倫多大學(xué)）和T.Sejnows

36、ki（霍布金斯大學(xué)）在1985到1986年提出的</p><p>　　Bidirectional Associative Memory（BAM，雙向聯(lián)想記憶網(wǎng)）Baaart kosko（南加州大學(xué)）1985年到1988年提出</p><p>　　Counter proagation（CPN，雙向傳播網(wǎng)）Robert Hecht-Nielsen在1983年提出</p><

37、p>　　Radial Basis Functions（RBF，徑向基函數(shù)網(wǎng)絡(luò)）Broomhead Lowe在1988年提出</p><p>　　Support Vector Machine（SVM，支持向量機(jī)）Vapnik在1992年到1988年提出</p><p>　　3 模擬認(rèn)知的人工神經(jīng)網(wǎng)絡(luò)模型</p><p><b>　　3.1 模擬記憶&

38、lt;/b></p><p>　　3.1.1R-nets模型[3]</p><p>　　在人類大腦中，信息是存儲(chǔ)在大腦內(nèi)神經(jīng)元中的，不同神經(jīng)元間不同連接強(qiáng)度構(gòu)成了特定的信息，這些信息在大腦中被稱作記憶。生物大腦的信息 存儲(chǔ)容量和效率是現(xiàn)代電子計(jì)算機(jī)的許多倍，如果能模擬出大腦記憶的機(jī)制，將會(huì)給計(jì)算機(jī)存儲(chǔ)帶來深遠(yuǎn)的影響。</p><p>　　R-nets模型是一種

39、模擬記憶現(xiàn)象的存儲(chǔ)模型。R-nets中有兩個(gè)重要的組成部分，訓(xùn)練集和回憶集，其中的神經(jīng)元分為興奮神經(jīng)元和抑制神經(jīng)元，模型結(jié)構(gòu)見圖3.1.1，光滑球形是興奮神經(jīng)元，尖狀球形是抑制神經(jīng)元，R-nets大約有3000到75000個(gè)興奮神經(jīng)元組成。在模型中，興奮神經(jīng)元到抑制神經(jīng)元的比率和突觸的數(shù)量是不等的。R-nets神經(jīng)網(wǎng)絡(luò)的存儲(chǔ)能力由隨機(jī)選擇興奮神經(jīng)元和訓(xùn)練突觸估算出來。網(wǎng)絡(luò)中部分神經(jīng)元被訓(xùn)練成訓(xùn)練集，訓(xùn)練集中半數(shù)興奮神經(jīng)元又組成回憶集。網(wǎng)

40、絡(luò)可以運(yùn)行100個(gè)循環(huán)，訓(xùn)練集的數(shù)量是持續(xù)增長(zhǎng)的，直至訓(xùn)練集中每個(gè)目標(biāo)組的錯(cuò)誤數(shù)量達(dá)到目標(biāo)組尺寸的10%。在網(wǎng)絡(luò)整體尺寸大幅增長(zhǎng)下，回憶集的尺寸也是小幅增長(zhǎng)的，這可以有效的存儲(chǔ)信息。而對(duì)于訓(xùn)練集而言，訓(xùn)練集尺寸與網(wǎng)絡(luò)尺寸要相適應(yīng)，否則會(huì)出現(xiàn)許多錯(cuò)誤偏差。訓(xùn)練集對(duì)網(wǎng)絡(luò)整體相對(duì)較小時(shí)，其錯(cuò)誤偏差主要由于神經(jīng)元中存在虛假的連結(jié)，使得訓(xùn)練組不能連結(jié)到回憶集。訓(xùn)練集對(duì)網(wǎng)絡(luò)整體相對(duì)較大時(shí)，錯(cuò)誤主要原因則是網(wǎng)絡(luò)的過度訓(xùn)練。由于存儲(chǔ)空間和突觸數(shù)量是線性

41、的，使得網(wǎng)絡(luò)間出現(xiàn)密集的連接。</p><p>　　圖3.1.1 R-nets模型結(jié)構(gòu)</p><p>　　R-nets網(wǎng)絡(luò)模型相對(duì)于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型的優(yōu)勢(shì)在于，其信息存儲(chǔ)能力更強(qiáng)而且更符合生物學(xué)上神經(jīng)系統(tǒng)的運(yùn)行方式。對(duì)于信息存儲(chǔ)而言，網(wǎng)絡(luò)的學(xué)習(xí)算法和回憶算法是獨(dú)立于網(wǎng)絡(luò)結(jié)構(gòu)的，且不需要設(shè)定臨界值也不需要對(duì)突觸進(jìn)行分級(jí)。對(duì)于符合生物神經(jīng)系統(tǒng)運(yùn)行模式而言，模型表現(xiàn)在不僅體現(xiàn)了大腦的物質(zhì)情況，

42、而且提供了特別的仿生物連接矩陣。雖然模型的生物特征可能會(huì)限制其求解更低水平的問題的能力，但是這些特征在非現(xiàn)實(shí)突觸模擬中是有用的。</p><p>　　由于其符合大腦內(nèi)神經(jīng)元存儲(chǔ)信息的結(jié)構(gòu)，使得他可以模擬許多心理現(xiàn)象，如串行記憶，次級(jí)加強(qiáng)，再加工記憶，預(yù)測(cè)制造，不完整再加工記憶等。他還能模擬在刺激作用下的感官反應(yīng)，并能通過回憶感官反應(yīng)的結(jié)果來重復(fù)運(yùn)動(dòng)。他不僅能在特殊刺激下預(yù)測(cè)行為，也能在沒有特殊刺激下預(yù)測(cè)行為。&l

43、t;/p><p>　　3.1.2非線性動(dòng)態(tài)人工神經(jīng)網(wǎng)絡(luò)模型[4]</p><p>　　非線性動(dòng)態(tài)人工神經(jīng)網(wǎng)絡(luò)，簡(jiǎn)稱為NDANN模型，他是以非線性動(dòng)態(tài)系統(tǒng)（NDS）理論為基礎(chǔ)的人工神經(jīng)網(wǎng)絡(luò)。NDS是一個(gè)理論方法，其目的是有兩點(diǎn)：首先，他能作為一個(gè)分析數(shù)據(jù)的工具；第二，他能模擬不同領(lǐng)域的調(diào)查研究。在NDS方法中，時(shí)間和變化是兩個(gè)重要的變量。對(duì)系統(tǒng)而言，系統(tǒng)隨時(shí)間而產(chǎn)生的變化是直接與外部環(huán)境狀況相互

44、聯(lián)系、相互作用的，系統(tǒng)和環(huán)境的相互作用對(duì)自組織和復(fù)雜行為是非常重要的，非線性動(dòng)態(tài)系統(tǒng)（NDS）理論在微觀和宏觀上都能反應(yīng)這些聯(lián)系。NDS理論可以應(yīng)用在很多領(lǐng)域中，包括神經(jīng)科學(xué)，感知心理學(xué)和認(rèn)知科學(xué)和社會(huì)心理學(xué)，近來NDS理論已經(jīng)成為了探測(cè)和理解認(rèn)知現(xiàn)象的必要工具。NDANN模型不僅體現(xiàn)了NDS的性能水平，而且可以模擬神經(jīng)元活動(dòng)和低水平認(rèn)知現(xiàn)象 </p><p>　　NDANN的結(jié)構(gòu)見圖3.1.2，x[0]和y[0

45、]表示初始輸入狀態(tài)（刺激）；t是網(wǎng)絡(luò)的迭代數(shù)量；W和V是強(qiáng)度矩陣。網(wǎng)絡(luò)模型由兩層組成，模型可以加工在一個(gè)周期中流動(dòng)的雙向信息。網(wǎng)絡(luò)成產(chǎn)生聯(lián)想記憶和非聯(lián)想記憶，也就是說，他可以進(jìn)行有導(dǎo)師學(xué)習(xí)也可以進(jìn)行無導(dǎo)師學(xué)習(xí)。模型兩層的大小是不同的，強(qiáng)度矩陣不需要作轉(zhuǎn)換陣操作。而且，網(wǎng)絡(luò)的每一個(gè)單元都對(duì)應(yīng)一個(gè)神經(jīng)元種群，就好像是在生物神經(jīng)網(wǎng)絡(luò)或心理學(xué)概念上講述的生物神經(jīng)元一樣。</p><p>　　圖3.1.2 非線性動(dòng)態(tài)人工神

46、經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)</p><p>　　由于當(dāng)前未能全部知曉腦部記憶機(jī)制，故模擬記憶現(xiàn)象設(shè)計(jì)的人工神經(jīng)網(wǎng)絡(luò)只能部分模擬記憶過程，這導(dǎo)致模型的信息存儲(chǔ)和處理等方面存在缺陷。結(jié)合生物記憶機(jī)制和NDA原理的NDANN模型可以避免這一缺陷，由于他可以模擬混沌的時(shí)間空間行為，因此他也成為一個(gè)幫助彌合生物記憶和基于行為模擬的存儲(chǔ)模型間差距的有效工具。</p><p>　　3.1.3競(jìng)爭(zhēng)網(wǎng)絡(luò)模型和周期聯(lián)想記憶模

47、型[5]</p><p>　　競(jìng)爭(zhēng)網(wǎng)絡(luò)是通過評(píng)估他們的強(qiáng)度空間中訓(xùn)練后的隨機(jī)變量來進(jìn)行學(xué)習(xí)的，網(wǎng)絡(luò)最大的特點(diǎn)是能在學(xué)習(xí)環(huán)境出現(xiàn)偏差時(shí)正常的學(xué)習(xí)。周期聯(lián)系記憶（RAM）通常作為模擬不穩(wěn)定原則的分析器，但是他對(duì)環(huán)境偏差很敏感。</p><p>　　競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)是由Rumelhart和Zipser在1986年提出的，他是一個(gè)簡(jiǎn)單的標(biāo)準(zhǔn)前饋網(wǎng)絡(luò)，他由兩層組成，分別是隱含層和輸出層，見圖3.1.3（

48、a），其中的虛線箭頭表示無可調(diào)節(jié)強(qiáng)度的抑制連接。</p><p>　　圖3.1.3（a） 競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)</p><p>　　自適應(yīng)響應(yīng)理論模型，簡(jiǎn)稱ART，是Carpenter和Grossberg在1987年提出的，他是一個(gè)基于生物學(xué)競(jìng)爭(zhēng)性的網(wǎng)絡(luò)，他以兩個(gè)主要問題為基礎(chǔ)，一個(gè)是共振（Grossberg在1976年提出的）一個(gè)是新探測(cè)器（是vigilance和Grossberg在19

49、76年提出的）。共振是一個(gè)平衡狀態(tài)，當(dāng)一個(gè)輸出能重新構(gòu)建輸入時(shí)，就會(huì)出現(xiàn)共振現(xiàn)象，ART1網(wǎng)絡(luò)僅僅在平衡狀態(tài)到達(dá)時(shí)學(xué)習(xí)。ART1結(jié)構(gòu)見圖3.1.3（b），他由兩層單元，網(wǎng)絡(luò)有兩個(gè)距離強(qiáng)度集組成，右邊部分是網(wǎng)絡(luò)的新探測(cè)器。</p><p>　　圖3.1.3（b） 自適應(yīng)響應(yīng)理論模型結(jié)構(gòu)</p><p>　　周期聯(lián)想憶模型，簡(jiǎn)稱RAM，其結(jié)構(gòu)見圖3.1.3（c），W是強(qiáng)度矩陣，表示一個(gè)簡(jiǎn)單的線

50、性網(wǎng)絡(luò)，x[t]是網(wǎng)絡(luò)在時(shí)間t時(shí)的狀態(tài)，灰色正方形式是一個(gè)延遲單元。模型規(guī)則是由Hopfield在1982年提出的，在1977年Anderson再次強(qiáng)調(diào)了這個(gè)原則，模型的參數(shù)不會(huì)影響到模型的瞬態(tài)性能。</p><p>　　圖3.1.3（c） 周期聯(lián)想記憶模型結(jié)構(gòu)</p><p>　　非線性聯(lián)想記憶模型，簡(jiǎn)稱NDRAM，他是一個(gè)非線性RAM，他能分類灰度值相關(guān)的模式，還能在RAMs處于新的連

51、續(xù)刺激下學(xué)習(xí)。在學(xué)習(xí)算法下,小數(shù)量的虛假狀態(tài)能顯著改善了網(wǎng)絡(luò)的性能。NDRAM的結(jié)構(gòu)見圖3.1.3（d），這是一個(gè)通常的聯(lián)系記憶模型的主要結(jié)構(gòu)，但是附加了一個(gè)新穎探測(cè)器，這個(gè)探測(cè)器是用來計(jì)算輸入和輸出間的聯(lián)系的。</p><p>　　圖3.1.3（d） NDRAM模型結(jié)構(gòu)</p><p>　　學(xué)習(xí)環(huán)境偏差是一個(gè)合理的行為，是一種先前不平等。許多證據(jù)表明人類大腦能執(zhí)行一系列認(rèn)知行為，而不受學(xué)

52、習(xí)環(huán)境偏差影響。無導(dǎo)師學(xué)習(xí)的聯(lián)結(jié)主義神經(jīng)網(wǎng)絡(luò)被用于計(jì)算機(jī)科學(xué)中的機(jī)器學(xué)習(xí)和心理學(xué)中的模擬人類認(rèn)知，但是并不清楚他們對(duì)先前不平等是否敏感。從模擬記憶的方式上來分，神經(jīng)網(wǎng)絡(luò)模型可分為競(jìng)爭(zhēng)網(wǎng)絡(luò)模型和周期聯(lián)想記憶模型。在仿真實(shí)驗(yàn)中，設(shè)置兩個(gè)環(huán)境，一個(gè)是簡(jiǎn)單環(huán)境，實(shí)驗(yàn)RAM模型和競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)模型，另一個(gè)環(huán)境是復(fù)雜學(xué)習(xí)環(huán)境，實(shí)驗(yàn)NDRAM模型和ART1模型。通過對(duì)這兩大類四個(gè)模型的仿真可知，競(jìng)爭(zhēng)網(wǎng)絡(luò)模型難以適應(yīng)學(xué)習(xí)環(huán)境偏差，而周期聯(lián)想記憶模型則能很

53、好的適應(yīng)這一偏差。</p><p>　　3.1.4計(jì)算機(jī)認(rèn)知神經(jīng)學(xué)模型[6]</p><p>　　計(jì)算認(rèn)知神經(jīng)學(xué)模型，簡(jiǎn)稱作CCN模型?，F(xiàn)代的神經(jīng)網(wǎng)絡(luò)理論在模擬感知時(shí)是作為一種媒介，他們的優(yōu)點(diǎn)是與人類大腦運(yùn)行機(jī)制部分相似，包括離散表示、連續(xù)流動(dòng)、把記憶模擬為突觸強(qiáng)度等。但是這些模擬方法也有缺點(diǎn)，那就是他們不能完全模擬或盡可能模擬人類大腦的認(rèn)知過程，構(gòu)建模型結(jié)構(gòu)時(shí)，他們首先考慮的是如何優(yōu)化

54、自身的模型結(jié)構(gòu)。</p><p>　　CCN結(jié)構(gòu)如圖3.1.4，這個(gè)網(wǎng)絡(luò)結(jié)構(gòu)是Ashby和Crossley在2011年提出的，粗大的黑色箭頭表示信息的流動(dòng)。從圖中可知，模型由早期訓(xùn)練和晚期訓(xùn)練激活，在TAN學(xué)習(xí)前和其學(xué)習(xí)后的時(shí)期中，環(huán)境參數(shù)是得到獎(jiǎng)勵(lì)的。最初，刺激不能引起TAN停止，因此MSN不能由刺激激起。結(jié)果，在刺激開始后pre-SMA/SMA單元的激勵(lì)比暫時(shí)不會(huì)改變。訓(xùn)練進(jìn)行一段時(shí)間后，TAN由刺激停止，他

55、釋放了MSN。這允許MSN接收刺激，并引起激勵(lì)比在pre-SMA/SMA增加超過基準(zhǔn)值 （SMA=補(bǔ)充動(dòng)力區(qū)域，VA=丘腦的前腹部核心，VL=丘腦的后腹部核心，GPi=蒼白球內(nèi)部，MSN=中等有刺神經(jīng)元，TAN=tonically丘腦。</p><p>　　圖3.1.4 計(jì)算機(jī)認(rèn)知神經(jīng)學(xué)模型結(jié)構(gòu)</p><p>　　CNN模型與傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)認(rèn)知模型相比，其有許多優(yōu)點(diǎn)，第一，CCN模型

56、增加了在模擬行為的數(shù)量限制。Newell提出認(rèn)知理論在根本上是不能被數(shù)據(jù)證明的。增加神經(jīng)行為的數(shù)量能減少候選分類模式的數(shù)量，而且能減少分類的不均勻。第二，CNN模型能顯示出在名義上并不相關(guān)的神經(jīng)科學(xué)行為間的關(guān)系。第三，在很多情況下，研究神經(jīng)科學(xué)本質(zhì)會(huì)導(dǎo)致驚奇行為的發(fā)現(xiàn)，而這些行為很難通過一個(gè)純粹的認(rèn)知方法來追溯。第四，CNN模型使用符合聚集運(yùn)作的方法來模擬實(shí)驗(yàn)，聚集運(yùn)作方法能起到預(yù)測(cè)行為和神經(jīng)科學(xué)數(shù)據(jù)的作用。</p>&l

57、t;p><b>　　3.2 模擬注意力</b></p><p>　　3.2.1注意運(yùn)動(dòng)推導(dǎo)模型[7]</p><p>　　注意力瞬脫是一種指示注意力的暫態(tài)現(xiàn)象，注意力瞬脫即當(dāng)注意力集中在第一個(gè)目標(biāo)，并出現(xiàn)第二個(gè)目標(biāo)時(shí)，注意力在注意第二目標(biāo)過程中發(fā)生的瞬間注意力脫離現(xiàn)象，研究表明注意力由第一個(gè)目標(biāo)向第二個(gè)目標(biāo)轉(zhuǎn)移的時(shí)間是200-500ms。以腦部為基礎(chǔ)的神經(jīng)模型在

58、模擬注意力時(shí)通常都是采用研究注意力瞬脫現(xiàn)象，即觀察模型在刺激下對(duì)兩個(gè)不同目標(biāo)的反應(yīng)。</p><p>　　注意運(yùn)動(dòng)推導(dǎo)模型，簡(jiǎn)稱CODAM模型，其由以下幾個(gè)模塊組成：1，目標(biāo)映射，作用是告知注意力信號(hào)的調(diào)節(jié)過程。2，注意力控制信號(hào)產(chǎn)生器（IMC），在工程控制方法中表達(dá)為反向模型控制器。3，目標(biāo)模塊，分為內(nèi)在目標(biāo)模塊和外在目標(biāo)模塊，其用作偏離注意力的運(yùn)動(dòng)信號(hào)。4，工作記憶模塊，功能是作為注意力刺激的評(píng)價(jià)器。5，注意

59、力控制信號(hào)的推導(dǎo)解除器，可以通過對(duì)比注意力控制信號(hào)和目標(biāo)信號(hào)快速產(chǎn)生對(duì)錯(cuò)誤信號(hào)的修正，還可以在早期幫助呼叫工作記憶站加快，引入注意力刺激的過程。6，監(jiān)視器，可以通過計(jì)算目標(biāo)信號(hào)和預(yù)測(cè)信號(hào)的值產(chǎn)生一個(gè)錯(cuò)誤信號(hào)。模型結(jié)構(gòu)見圖3.2.1，開環(huán)表示目標(biāo)，閉環(huán)表示干擾項(xiàng)或隱藏項(xiàng)，黑線表示興奮連接，灰線表示抑制連接。</p><p>　　圖3.2.1 CODAM模型結(jié)構(gòu)</p><p>　　CODAM

60、模型原本是用于分析發(fā)動(dòng)機(jī)控制的模型，最近才發(fā)現(xiàn)其也可用于模擬注意力。我們可以利用CODAM模型模擬注意力瞬脫現(xiàn)象，這可以幫助我們指定出現(xiàn)象的抑制過程， CODAM模型探索方法可以更為詳細(xì)指明的注意力過程，這是采用模型模擬注意力并研究注意力過程的模型，他擴(kuò)展了第二目標(biāo)對(duì)仿真影響的理解，闡述了多刺激對(duì)仿真的影響和刺激信號(hào)間的關(guān)系。</p><p><b>　　3.3 模擬情緒</b></p

61、><p>　　3.3.1DUONN模型[8]</p><p>　　情緒DUO神經(jīng)網(wǎng)絡(luò)（DUONN）是在認(rèn)知系統(tǒng)水平上通過調(diào)查情緒集合來在機(jī)器上模擬人類感知的網(wǎng)絡(luò)模型。相對(duì)于其他情緒DUO神經(jīng)網(wǎng)絡(luò)而言，其情緒數(shù)據(jù)更多是在他的結(jié)構(gòu)中完成加工的，這使得他能調(diào)節(jié)更多情緒強(qiáng)度（情緒記憶）。模型能使用輸入模式或視覺刺激推測(cè)出情緒反應(yīng)，進(jìn)而能影響網(wǎng)絡(luò)的學(xué)習(xí)和決定過程。</p><p>

62、;　　DUONN由三層組成：一個(gè)輸入層，一個(gè)包含有DUO神經(jīng)元的隱含層（假如需要可以增加更多隱含層），一個(gè)輸出層。除此之外，網(wǎng)絡(luò)還附加有非加工性質(zhì)的偏斜神經(jīng)元和情緒神經(jīng)元。其中DUO神經(jīng)元有兩個(gè)嵌入式神經(jīng)元：背部神經(jīng)元和腹部神經(jīng)元，他們各自對(duì)應(yīng)認(rèn)知和情緒的數(shù)據(jù)加工過程。模型結(jié)構(gòu)見圖3.3.1。</p><p>　　圖3.3.1 DUONN模型結(jié)構(gòu)</p><p>　　流入DUONN的輸入信

63、號(hào)是唯一的，這是模擬大腦視覺皮質(zhì)中數(shù)據(jù)從一個(gè)共同源流動(dòng)的結(jié)果。數(shù)據(jù)進(jìn)入隱含層的DUO神經(jīng)元是分成兩部分，腹部情緒流和背部認(rèn)知流，兩種數(shù)據(jù)流是相同輸入的不同版本。腹部情緒流包含輸入的整體特征，由腹部神經(jīng)元加工處理，背部認(rèn)知流包含輸入圖像的局部特征，由背部神經(jīng)元加工處理。兩個(gè)情緒參數(shù)，焦慮和信心，分別作用在隱含層和輸出層中，表示情緒強(qiáng)度（情緒記憶），情緒強(qiáng)度與在新任務(wù)和做決定時(shí)的情緒神經(jīng)元模擬和計(jì)算的神經(jīng)學(xué)習(xí)相聯(lián)系。</p>

64、<p>　　DUONN模型現(xiàn)在可以應(yīng)用在面部識(shí)別方面，由于模型對(duì)整體信號(hào)和局部信號(hào)是分行處理，使得在面部識(shí)別中，對(duì)整體面部信息和局部面部特征處理中，能同步進(jìn)行，這提高了面部識(shí)別的準(zhǔn)確性和效率。</p><p><b>　　3.4 模擬語言</b></p><p>　　3.4.1語法理解模型[9]</p><p>　　在認(rèn)知神經(jīng)科學(xué)中有

65、一個(gè)中心問題，那就是在大腦中有著怎樣的離散神經(jīng)網(wǎng)絡(luò)，使得他不僅能在語言學(xué)習(xí)和加工過程中使用，也能在非語言認(rèn)知順序進(jìn)行學(xué)習(xí)。</p><p>　　盡管特別的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)限制于已知的人類語言系統(tǒng),但當(dāng)前研究還是在嘗試匯集這些基于句子加工模型的數(shù)據(jù)。通過收集這些數(shù)據(jù)，能學(xué)習(xí)與人相同的語言，并能完成人工語法任務(wù)。為了理解這個(gè)任務(wù)，系統(tǒng)應(yīng)該首先能從文字中區(qū)別出功能字。許多大腦潛在學(xué)習(xí)的行為和時(shí)間現(xiàn)象都要求模型能在一個(gè)分離方

66、式下加工字，而且模型應(yīng)該能在一個(gè)工作記憶中存儲(chǔ)字，然后可以在非標(biāo)準(zhǔn)命令中通過功能條款取得這個(gè)記憶，重組字將通過功能字引導(dǎo)到主題任務(wù)。模型能標(biāo)準(zhǔn)執(zhí)行非到時(shí)任務(wù),包括產(chǎn)生新句子。</p><p>　　模型結(jié)構(gòu)見圖3.4.1，標(biāo)記的每一個(gè)部件對(duì)應(yīng)于一個(gè)5*5的漏積分神經(jīng)元，閉環(huán)和開環(huán)分類字的雙加工流分別對(duì)應(yīng)STG和MTG。輸入句子在周期網(wǎng)絡(luò)BA47中編碼，在STG中安排閉環(huán)分類字的時(shí)間表。BA45從MTG得到到開環(huán)分類

67、字。BA44/6是一個(gè)工作記憶編碼服務(wù)器，通過在BA47-caudate中推測(cè)閉環(huán)分類字基于語法的順序，產(chǎn)生在‘預(yù)測(cè)、代理、目標(biāo)、接受’的作用。</p><p>　　圖3.4.1 語法理解模型結(jié)構(gòu)</p><p>　　語法理解模型在現(xiàn)實(shí)中，主要應(yīng)用于句子創(chuàng)造和修正。由于模型運(yùn)行原則符合大腦對(duì)句子創(chuàng)造、修正的加工機(jī)制，使其相對(duì)于其他句子創(chuàng)造修正工具而言，修正的句子的準(zhǔn)確性更高，更易于閱讀。&

68、lt;/p><p>　　3.4.2數(shù)字空間模型[10]</p><p>　　在人類認(rèn)知中，數(shù)字與空間的關(guān)系研究也是一個(gè)重要的分支。數(shù)字表示與空間表示是相互作用的，例如如當(dāng)數(shù)字是從1到9時(shí)，人注意的空間是從左到右。對(duì)于數(shù)字表示和空間表示間相互作用的本質(zhì)現(xiàn)在還很難完全弄懂，但是我們已經(jīng)知道了空間形狀不能完全用固定的數(shù)字來表示（雖然空間表示和數(shù)字表示是相互分離的）。在現(xiàn)實(shí)中，數(shù)字表示和空間表示的相互

69、關(guān)系是會(huì)受到物理特征和文化因素（如從小教育中，從左到右的數(shù)字是從1到9）的影響，所以在模擬這個(gè)現(xiàn)象時(shí)，我們忽略這兩種因素的作用。</p><p>　　模型結(jié)構(gòu)見圖3.4.2，模型分為四層，分布為輸入層、表示層、決定層和響應(yīng)層，如圖可見。最下面兩個(gè)單元是輸入層，這兩個(gè)單元映射到表示層中，表示為空間（hLIP）和數(shù)字（地點(diǎn)代碼）。決定層包含有三個(gè)不同的任務(wù)單元，分別為平價(jià)判斷、數(shù)字對(duì)比、數(shù)字命名。在決定層中，給定層的

70、單元數(shù)量反應(yīng)的是每一個(gè)任務(wù)的數(shù)量（在相等評(píng)價(jià)中的奇數(shù)和偶數(shù)、在數(shù)字對(duì)比中的大小、在數(shù)字命名中的一到九）。在表示層中有兩個(gè)單元，各自是左邊響應(yīng)和右邊響應(yīng)。模型中，決定層和響應(yīng)層會(huì)同時(shí)處理為數(shù)字命名的任務(wù)。</p><p>　　圖3.4.2 數(shù)字空間模型結(jié)構(gòu)</p><p>　　數(shù)字空間模型是以早期模型假設(shè)為基礎(chǔ)的，他可以使用計(jì)算機(jī)仿真顯示研究中的解釋數(shù)據(jù)，其也可以模擬數(shù)字和空間的相互作用過程

71、，并在解釋健康人和病人的數(shù)據(jù)上十分有效。</p><p>　　3.4.3多時(shí)間周期神經(jīng)網(wǎng)絡(luò)模型[11]</p><p>　　多時(shí)間周期神經(jīng)網(wǎng)絡(luò)，簡(jiǎn)稱MTRNN，他能通過自我組織作用來反射句子結(jié)構(gòu)和字的特征，并最終識(shí)別、產(chǎn)生和確認(rèn)句子。模型能依靠最初狀態(tài)（產(chǎn)生階段）來控制句子產(chǎn)生，其中的初始狀態(tài)能從目標(biāo)句子（識(shí)別階段）計(jì)算出來。模型還可以修正在句子中的一些置換錯(cuò)誤，通過每訓(xùn)練一次就迭代一個(gè)確

72、定的可能方式，可以增加模型錯(cuò)誤信息，以此可以達(dá)到訓(xùn)練改進(jìn)句子執(zhí)行過程的目的。</p><p>　　在MTRNN模型中，神經(jīng)元最快速變化的是“符號(hào)”，變化較慢的是“字”，變化最慢的是“句子”。MTRNN模型是Yamashita和Tani提出的，他們最初將其使用在機(jī)器人的發(fā)動(dòng)機(jī)傳感器流動(dòng)學(xué)習(xí)任務(wù)上。近來發(fā)現(xiàn)這個(gè)模型能幫助我們克服語言整合的問題：當(dāng)使用一個(gè)無注釋句子（每個(gè)句子表示為一個(gè)字符順序）訓(xùn)練模型時(shí)，模型的自組織

73、作用會(huì)反射并分層語言作文。因此，哪怕沒有任何先前關(guān)于詞典和語法的知識(shí)，我們模型也可以識(shí)別、產(chǎn)生和修正句子，故模型能作為順序產(chǎn)生器和識(shí)別器。</p><p>　　模型結(jié)構(gòu)見圖3.4.3，語言學(xué)習(xí)模型有三個(gè)神經(jīng)元組，分別為輸入和輸出組(IO)、快速上下文組(CF)、慢速上下文組組成(CS)。IO有30個(gè)代碼，其中的26個(gè)代碼分別對(duì)應(yīng)26個(gè)字母符號(hào)，四個(gè)其他符號(hào)則分別對(duì)應(yīng)空格、時(shí)間、逗號(hào)、問號(hào)。CF由40個(gè)代碼組成，C

74、S由11個(gè)代碼組成，模型的a（t）、b（t）……是在時(shí)間t的信號(hào)神經(jīng)元的激勵(lì)值，句子信號(hào)表示為連續(xù)的輸入輸出神經(jīng)元激勵(lì)。</p><p>　　圖3.4.3 多時(shí)間周期神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)</p><p>　　模型用于收集、整理和改錯(cuò)句子，句子的符號(hào)、詞語和語法都可以進(jìn)行修改整理。與之前的語法理解模型的區(qū)別在于，語法理解模型在修改句子語法錯(cuò)誤上更突出，而MTRNN的功能更全面。</p>

75、;<p>　　4 人工神經(jīng)網(wǎng)絡(luò)模擬認(rèn)知現(xiàn)象現(xiàn)狀</p><p>　　近些年來，利用人工神經(jīng)網(wǎng)絡(luò)模擬認(rèn)知科學(xué)中的現(xiàn)象是神經(jīng)網(wǎng)絡(luò)研究的一個(gè)重要分支。利用人工神經(jīng)網(wǎng)絡(luò)模擬認(rèn)知現(xiàn)象，主要從記憶、學(xué)習(xí)、語言、注意力和情緒等幾個(gè)方面進(jìn)行模擬。在模擬認(rèn)知現(xiàn)象時(shí)，對(duì)神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)中在理論上有兩種趨勢(shì)，一種是嚴(yán)格按照生物認(rèn)知現(xiàn)象的作用方式來設(shè)計(jì)模型結(jié)構(gòu)，另一種是在生物認(rèn)知現(xiàn)象作用方式的基礎(chǔ)上，再加上實(shí)際非認(rèn)知理論

76、來設(shè)計(jì)模型結(jié)構(gòu)。兩種理論都符合聯(lián)結(jié)主義的理論思想，只是前一種是完全符合生物性，后一種是部分符合生物性部分符合實(shí)際性。</p><p>　　嚴(yán)格按照生物認(rèn)知現(xiàn)象設(shè)計(jì)模型的理論，在本文論述模型中，R-nets模型和計(jì)算機(jī)認(rèn)知科學(xué)模型是依照這種理論設(shè)計(jì)的。模型完全符合生物性，能使模型處理認(rèn)知信息時(shí)最大限度的模擬生物認(rèn)知加工過程，這對(duì)理解認(rèn)知現(xiàn)象很有好處。</p><p>　　文章中絕大多數(shù)模型是

77、同時(shí)按照生物認(rèn)知現(xiàn)象和實(shí)際非認(rèn)知理論聯(lián)合設(shè)計(jì)模型的，如語法理解模型、數(shù)字空間模型等。這些模型部分符合生物性，只能部分模擬認(rèn)知現(xiàn)象的加工過程，所以對(duì)認(rèn)知現(xiàn)象的理解也只是部分。但是這類模型的好處時(shí)，特別適合實(shí)際應(yīng)用領(lǐng)域。由于借鑒了非生物的經(jīng)典理論，其實(shí)際應(yīng)用更可靠。</p><p>　　其實(shí)之所以會(huì)出現(xiàn)這兩種不同的設(shè)計(jì)理論，主要是因?yàn)楝F(xiàn)代認(rèn)知科學(xué)對(duì)生物認(rèn)知機(jī)制，特別是人類認(rèn)知機(jī)制了解得不完全?？茖W(xué)家們對(duì)認(rèn)知機(jī)制的研究

78、基本上還是停留在觀察特定認(rèn)知現(xiàn)象出現(xiàn)后，腦部部分區(qū)域的活躍情況上。這類研究只能部分分析認(rèn)知現(xiàn)象的形成機(jī)制，卻缺乏在整體上對(duì)認(rèn)知過程的把握。而在應(yīng)用中的，特別是模擬認(rèn)知的人工神經(jīng)網(wǎng)絡(luò)模型中，只有部分機(jī)制的研究是不足以設(shè)計(jì)出好的模型結(jié)構(gòu)的，故許多模型只能在采用已知認(rèn)知機(jī)制的基礎(chǔ)上，借鑒實(shí)際應(yīng)用中的非認(rèn)知理論思想的方法。</p><p>　　未來一段時(shí)間內(nèi)，認(rèn)知機(jī)制和非認(rèn)知理論聯(lián)合設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)模型的方法還會(huì)繼續(xù)采用，但

79、是隨著科學(xué)界對(duì)認(rèn)知現(xiàn)象的理解不斷深入，人工神經(jīng)網(wǎng)絡(luò)模型將更多的會(huì)從生物性角度設(shè)計(jì)模型，并最終完全模擬出人類大腦對(duì)認(rèn)知現(xiàn)象處理的全過程，雖然這還有很長(zhǎng)的一段路要走。</p><p>　　5 人工智能中關(guān)于人工神經(jīng)網(wǎng)絡(luò)和認(rèn)知科學(xué)的國(guó)際會(huì)議</p><p>　　對(duì)于人工神經(jīng)網(wǎng)絡(luò)模擬認(rèn)知科學(xué)，乃至對(duì)人工智能研究而言，國(guó)際會(huì)議已經(jīng)成為研究者交流研究成果的舞臺(tái)。在國(guó)際會(huì)議上，研究者們可以展示最新的研

80、究成果、發(fā)表新的論文、與國(guó)際同行們就同一議題進(jìn)行探討。然而，由于會(huì)議的開會(huì)時(shí)間和會(huì)議招待經(jīng)費(fèi)有限，并不是所有的研究者參加會(huì)議，也不是所有參加會(huì)議的研究者都能發(fā)表所有的研究成果。對(duì)于會(huì)議論文的選題、會(huì)議演講的要求，不同主題的會(huì)議是有不同的要求，這就要求我們?cè)趨⒓訒?huì)議和在向會(huì)議投稿前必須了解會(huì)議投稿和會(huì)議演講的要求。</p><p>　　全世界關(guān)于人工智能研究的著名會(huì)議有幾十個(gè)，其中涉及人工神經(jīng)網(wǎng)絡(luò)或認(rèn)知科學(xué)的有10

81、個(gè)左右。會(huì)議通常是一年一次，也有部分是兩年一次。關(guān)于會(huì)議投稿，會(huì)議組織者都要求投稿者必須投遞電子檔PDF格式的稿件， 其頁數(shù)和格式也有這嚴(yán)格的限制，這些投稿要求可以在會(huì)議的組織網(wǎng)站上查出。</p><p>　　正如前文說言，要想向會(huì)議投稿，必須先了解會(huì)議的投稿要求。在投稿要求中，會(huì)議討論主題是篩選投稿文章的重要因素，只有符合會(huì)議的投稿主題才有可能得到會(huì)議的采納。下面列舉了五個(gè)人工智能領(lǐng)域中涉及人工神經(jīng)網(wǎng)絡(luò)或認(rèn)知科

82、學(xué)的著名會(huì)議，并附帶各個(gè)會(huì)議的投稿主題。</p><p>　　5.1 國(guó)際人工智能協(xié)會(huì)年會(huì)</p><p>　　國(guó)際人工智能協(xié)會(huì)年會(huì)，其前身為美國(guó)人工智能協(xié)會(huì)年會(huì)（the Association for the advancement of Artificial intelligence ，簡(jiǎn)稱AAAI），每一年或兩年舉行一次，國(guó)際人工智能協(xié)會(huì)致力于推動(dòng)針對(duì)智能行為本質(zhì)的科學(xué)研究。<

83、/p><p>　　AAAI主題：代理系統(tǒng)和多代理系統(tǒng)，認(rèn)知建模和人機(jī)互動(dòng)，常識(shí)推理，計(jì)算機(jī)視覺，滿足約束，搜索和優(yōu)化，進(jìn)化計(jì)算，游戲和互動(dòng)娛樂，信息搜索，集成和提取，知識(shí)表示和推理，機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘，模型系統(tǒng)，跨學(xué)科AI，自然語言處理，計(jì)劃與調(diào)度，概率推理，機(jī)器人，網(wǎng)站和信息系統(tǒng)。</p><p>　　5.2 神經(jīng)信息處理系統(tǒng)年會(huì)</p><p>　　神經(jīng)信息處理系統(tǒng)

84、（neural information processing system，簡(jiǎn)稱NIPS），每一年舉行一次，地點(diǎn)固定在加拿大溫哥華，會(huì)議后第二年出版論文集，討論方向?yàn)樯窠?jīng)科學(xué)和機(jī)器學(xué)習(xí)。</p><p>　　NIPS主題：算法與結(jié)構(gòu)(包括神經(jīng)網(wǎng)絡(luò)），應(yīng)用（包括文本/網(wǎng)絡(luò)分析），腦功能成像（包括認(rèn)知神經(jīng)學(xué)），認(rèn)知科學(xué)和人工智能（包括學(xué)習(xí)，記憶，推理，解決問題，自然語言處理和神經(jīng)心理學(xué)），控制和強(qiáng)化學(xué)習(xí)（包括決定和控

85、制，探索，規(guī)劃），硬件技術(shù)，學(xué)習(xí)理論，神經(jīng)科學(xué)（包括研究處理和信息傳輸?shù)睦碚摵蛯?shí)驗(yàn)，生物神經(jīng)元網(wǎng)絡(luò)），語言與信號(hào)處理（包括聽覺感知，語言模型），視覺處理（生物和機(jī)器視覺，目標(biāo)探測(cè)和識(shí)別，視覺心理物理，視覺場(chǎng)景分析和解釋）</p><p>　　5.3 國(guó)際神經(jīng)網(wǎng)絡(luò)年會(huì)</p><p>　　國(guó)際神經(jīng)網(wǎng)絡(luò)年會(huì)（international joint conference on neural ne

86、twork，簡(jiǎn)稱IJCNN），是由國(guó)際神經(jīng)網(wǎng)絡(luò)協(xié)會(huì)（international neural network society)和IEEE計(jì)算機(jī)智能協(xié)會(huì)（IEEE computational intelligence society)主辦的。</p><p>　　IJCNN主題：神經(jīng)網(wǎng)絡(luò)理論或模型，模式識(shí)別，計(jì)算機(jī)神經(jīng)科學(xué)，認(rèn)知模型，機(jī)器視覺，認(rèn)知模型，進(jìn)化神經(jīng)系統(tǒng)，集成智能，腦部機(jī)器接口，數(shù)據(jù)挖掘，神經(jīng)力學(xué)，感知

87、網(wǎng)絡(luò)，神經(jīng)信息學(xué)，組織系統(tǒng)，神經(jīng)工程學(xué)，神經(jīng)硬件，神經(jīng)網(wǎng)絡(luò)應(yīng)用，計(jì)算機(jī)生物學(xué)，傳感器網(wǎng)絡(luò)，人工生活。</p><p>　　5.4 國(guó)際人工智能聯(lián)合會(huì)議</p><p>　　國(guó)際人工智能聯(lián)合會(huì)議（international joint conference on artificial intelligence，簡(jiǎn)稱IJCAI），在單數(shù)年召開。</p><p>　　IJ

88、CAI主題：代理系統(tǒng)和多代理系統(tǒng)，機(jī)器學(xué)習(xí)（包括系統(tǒng)學(xué)習(xí)，案例推理，數(shù)據(jù)挖掘，進(jìn)化計(jì)算，神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)理論），跨學(xué)科主題和應(yīng)用（包括AI和自然科學(xué)，認(rèn)知建模，人機(jī)互動(dòng)）計(jì)劃與調(diào)度（包括實(shí)時(shí)規(guī)劃），機(jī)器人和視覺（包括行為和控制，認(rèn)知機(jī)器人，感知和知覺），不確定人工智能，網(wǎng)絡(luò)和知識(shí)為基礎(chǔ)的信息系統(tǒng)（包括信息提取，集成和檢索，知識(shí)獲取，語義網(wǎng)絡(luò)）</p><p>　　5.5 國(guó)際人工智能工具會(huì)議</p>

89、<p>　　國(guó)際人工智能工具會(huì)議（international conference on tools with artificial intelligence，簡(jiǎn)稱ICTAI），由IEEE主辦，一年舉辦一次。</p><p>　　ICTAI主題：AI算法，人工智能研究領(lǐng)域：生物信息學(xué)，電子商務(wù)AI，游戲AI，信息保證AI，物流AI，醫(yī)學(xué)AI，多媒體系統(tǒng)AI，機(jī)器人AI，軟件工程AI，案例推理，認(rèn)知造型，

90、約束規(guī)劃，協(xié)同軟件代理，模糊或不確定下的推理，進(jìn)化計(jì)算，混合智能控制系統(tǒng)，信息檢索，智能教學(xué)培訓(xùn)系統(tǒng)，智能網(wǎng)絡(luò)代理，知識(shí)系統(tǒng)，知識(shí)提取，知識(shí)管理與共享，知識(shí)表示和推理，機(jī)器學(xué)習(xí)，自然語言處理，神經(jīng)網(wǎng)絡(luò)，計(jì)劃與調(diào)度，視覺/圖像處理，語言處理。</p><p><b>　　6 未來</b></p><p>　　對(duì)于神經(jīng)網(wǎng)絡(luò)研究，未來主要有三個(gè)研究方向：1、多學(xué)科綜合。2

91、、神經(jīng)網(wǎng)絡(luò)硬件實(shí)驗(yàn)。3、從人工神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)系統(tǒng)[2]。</p><p>　　對(duì)于認(rèn)知科學(xué)研究，未來的主要發(fā)展方向是：1、從對(duì)大腦部分區(qū)域功能研究到大腦整體功能的研究。2、從部分認(rèn)知運(yùn)行機(jī)制的研究到認(rèn)知能力綜合性研究[12-14]。</p><p>　　在研究認(rèn)知科學(xué)中，人工神經(jīng)網(wǎng)絡(luò)模型必將扮演更大的角色。通過對(duì)認(rèn)知科學(xué)的了解，改進(jìn)人工神經(jīng)網(wǎng)絡(luò)模型和其理論，又通過人工神經(jīng)網(wǎng)絡(luò)模型增進(jìn)對(duì)

92、認(rèn)知的研究。未來，認(rèn)知科學(xué)和人工神經(jīng)網(wǎng)絡(luò)必將相互促進(jìn)著前進(jìn)。</p><p><b>　　7 結(jié)論</b></p><p>　　用人工神經(jīng)網(wǎng)絡(luò)模擬認(rèn)知行為在近年逐漸發(fā)展成趨勢(shì)，隨著對(duì)人類認(rèn)知行為的本質(zhì)研究的不斷深入，人工神經(jīng)網(wǎng)絡(luò)模型也更趨于生物性，透過模型也能更多發(fā)現(xiàn)認(rèn)知規(guī)律。在人工神經(jīng)網(wǎng)絡(luò)發(fā)展史上，Perceptron（感知機(jī)）、Adaptive Resonanc

93、e Theory（自適應(yīng)共振理論ART）、Self-Organizing feature map（自組織特征映射網(wǎng)絡(luò)）、Hopfield網(wǎng)絡(luò)、Boltzman machine（波爾茲曼機(jī)）、Bidirectional Associative Memory（BAM，雙向聯(lián)想記憶網(wǎng)）等模型對(duì)人工神經(jīng)網(wǎng)絡(luò)有著指導(dǎo)性的作用。</p><p>　　我們闡述了R-nets、DUONN、CODAM、MTRNN、語法理解模型、數(shù)

94、字空間模型、CNN、競(jìng)爭(zhēng)網(wǎng)絡(luò)、周期聯(lián)想記憶模型、NDANN這十個(gè)模型，這些模型是近年來模擬認(rèn)知現(xiàn)象新成果。雖然他們只是模擬認(rèn)知中的某一部分（如模擬學(xué)習(xí)），但是這些模型使我們對(duì)認(rèn)知有了更深入的了解。作者還總結(jié)了現(xiàn)代人工神經(jīng)網(wǎng)絡(luò)生物性和非生物性的研究關(guān)系。文章后對(duì)五個(gè)著名的國(guó)際會(huì)議的會(huì)議主題作出了介紹，這也表明了現(xiàn)代人工神經(jīng)網(wǎng)絡(luò)模擬認(rèn)知的發(fā)展方向。</p><p><b>　　致謝</b><

95、;/p><p>　　感謝徐箭雨老師對(duì)本次畢業(yè)設(shè)計(jì)的支持,感謝所有在畢業(yè)設(shè)計(jì)期間幫助我的同學(xué)。</p><p><b>　　參考文獻(xiàn)</b></p><p>　　[1] 楊行峻，鄭君里. 人工神經(jīng)網(wǎng)絡(luò)與盲信號(hào)處理[M]. 北京：清華大學(xué)出版社. 2003.1.</p><p>　　[2] 韓力群. 人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計(jì)

96、及應(yīng)用[M]. 北京：化學(xué)工業(yè)出版社出版社. 2007.7.</p><p>　　[3] Vogel, D.D.. A neural network model of memory and higher cognitive functions[J]. International Journal of Psychophysiology, 2005. 55(1): p. 3-21.</p><p

97、>　　[4] Chartier, S., P. Renaud, and M. Boukadoum. A nonlinear dynamic artificial neural network model of memory[J]. New Ideas in Psychology, 2008. 26(2): p. 252-277.</p><p>　　[5] Hélie, S., S. Char

98、tier, and R. Proulx. Are unsupervised neural networks ignorant? Sizing the effect of environmental distributions on unsupervised learning[J]. Cognitive Systems Research, 2006. 7(4): p. 357-371.</p><p>　　[6]

99、Gregory Ashby, F. and S. Helie. A tutorial on computational cognitive neuroscience: Modeling the neurodynamics of cognition[J]. Journal of Mathematical Psychology, 2011. 55(4): p. 273-289.</p><p>　　[7] Fra

100、gopanagos, N., S. Kockelkoren, and J.G. Taylor. A neurodynamic model of the attentional blink[J]. Cognitive Brain Research, 2005. 24(3): p. 568-586.</p><p>　　[8] Khashman, A.. Modeling cognitive and emotion

101、al processes: A novel neural network architecture[J]. Neural Networks, 2010. 23(10): p. 1155-1163.</p><p>　　[9] Dominey, P.F., T. Inui, and M. Hoen. Neural network processing of natural language: II. Toward

102、s a unified model of corticostriatal function in learning sentence comprehension and non-linguistic sequencing[J]. Brain and Language, 2009. 109(2–3): p. 80-92.</p><p>　　[10] Chen, Q. and T. Verguts. Beyond

103、 the mental number line: A neural network model of number–space interactions[J]. Cognitive Psychology, 2010. 60(3): p. 218-240.</p><p>　　[11] Hinoshita, W., et al.. Emergence of hierarchical structure mirro

104、ring linguistic composition in a recurrent neural network. Neural Networks[J], 2011. 24(4): p. 311-320.</p><p>　　[12] 李翔. 從復(fù)雜到有序----神經(jīng)網(wǎng)絡(luò)智能控制理論新進(jìn)展[M]. 上海交通大學(xué)出版社. 2006.4.</p><p>　　[13] 姚錫凡，李雯. 人

105、工智能技術(shù)及應(yīng)用[M]. 北京：中國(guó)電力出版社. 2008.</p><p>　　[14] 羅四維. 大規(guī)模人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)[M]. 北京：清華大學(xué)出版社；北京交通大學(xué)出版社. 2004.2.</p><p><b>　　附錄1</b></p><p>　　人工神經(jīng)網(wǎng)絡(luò)的認(rèn)知科學(xué)應(yīng)用狀況的綜述</p><p>