正文

神經(jīng)網(wǎng)絡(luò)算法實(shí)驗(yàn)報(bào)告（神經(jīng)網(wǎng)絡(luò)算法實(shí)驗(yàn)報(bào)告總結(jié)）

發(fā)布時(shí)間：2023-04-14 04:39:50 稿源：創(chuàng)意嶺閱讀： 127

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于神經(jīng)網(wǎng)絡(luò)算法實(shí)驗(yàn)報(bào)告的問題，以下是小編對(duì)此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁(yè)版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、人工神經(jīng)網(wǎng)絡(luò)的主要研究成果
2、如何用神經(jīng)網(wǎng)絡(luò)遺傳算法求極值？
3、30分鐘講清楚深度神經(jīng)網(wǎng)絡(luò)
4、求高人解釋一下這個(gè)MATLAB的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)算法的程序。

神經(jīng)網(wǎng)絡(luò)算法實(shí)驗(yàn)報(bào)告（神經(jīng)網(wǎng)絡(luò)算法實(shí)驗(yàn)報(bào)告總結(jié)）

一、人工神經(jīng)網(wǎng)絡(luò)的主要研究成果

1 人工神經(jīng)網(wǎng)絡(luò)產(chǎn)生的背景

自古以來，關(guān)于人類智能本源的奧秘，一直吸引著無數(shù)哲學(xué)家和自然科學(xué)家的研究熱情。生物學(xué)家、神經(jīng)學(xué)家經(jīng)過長(zhǎng)期不懈的努力，通過對(duì)人腦的觀察和認(rèn)識(shí)，認(rèn)為人腦的智能活動(dòng)離不開腦的物質(zhì)基礎(chǔ)，包括它的實(shí)體結(jié)構(gòu)和其中所發(fā)生的各種生物、化學(xué)、電學(xué)作用，并因此建立了神經(jīng)元網(wǎng)絡(luò)理論和神經(jīng)系統(tǒng)結(jié)構(gòu)理論，而神經(jīng)元理論又是此后神經(jīng)傳導(dǎo)理論和大腦功能學(xué)說的基礎(chǔ)。在這些理論基礎(chǔ)之上，科學(xué)家們認(rèn)為，可以從仿制人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能出發(fā)，研究人類智能活動(dòng)和認(rèn)識(shí)現(xiàn)象。另一方面，19世紀(jì)之前，無論是以歐氏幾何和微積分為代表的經(jīng)典數(shù)學(xué)，還是以牛頓力學(xué)為代表的經(jīng)典物理學(xué)，從總體上說，這些經(jīng)典科學(xué)都是線性科學(xué)。然而，客觀世界是如此的紛繁復(fù)雜，非線性情況隨處可見，人腦神經(jīng)系統(tǒng)更是如此。復(fù)雜性和非線性是連接在一起的，因此，對(duì)非線性科學(xué)的研究也是我們認(rèn)識(shí)復(fù)雜系統(tǒng)的關(guān)鍵。為了更好地認(rèn)識(shí)客觀世界，我們必須對(duì)非線性科學(xué)進(jìn)行研究。人工神經(jīng)網(wǎng)絡(luò)作為一種非線性的、與大腦智能相似的網(wǎng)絡(luò)模型，就這樣應(yīng)運(yùn)而生了。所以，人工神經(jīng)網(wǎng)絡(luò)的創(chuàng)立不是偶然的，而是20世紀(jì)初科學(xué)技術(shù)充分發(fā)展的產(chǎn)物。

2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展

人工神經(jīng)網(wǎng)絡(luò)的研究始于40年代初。半個(gè)世紀(jì)以來，經(jīng)歷了興起、高潮與蕭條、高潮及穩(wěn)步發(fā)展的遠(yuǎn)為曲折的道路。

1943年，心理學(xué)家W.S.Mcculloch和數(shù)理邏輯學(xué)家W.Pitts 提出了M—P模型，這是第一個(gè)用數(shù)理語言描述腦的信息處理過程的模型，雖然神經(jīng)元的功能比較弱，但它為以后的研究工作提供了依據(jù)。1949年，心理學(xué)家D.O.Hebb提出突觸聯(lián)系可變的假設(shè)，根據(jù)這一假設(shè)提出的學(xué)習(xí)規(guī)律為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了基礎(chǔ)。 1957 年，計(jì)算機(jī)科學(xué)家Rosenblatt提出了著名的感知機(jī)模型，它的模型包含了現(xiàn)代計(jì)算機(jī)的一些原理，是第一個(gè)完整的人工神經(jīng)網(wǎng)絡(luò)，第一次把神經(jīng)網(wǎng)絡(luò)研究付諸工程實(shí)現(xiàn)。由于可應(yīng)用于模式識(shí)別，聯(lián)想記憶等方面，當(dāng)時(shí)有上百家實(shí)驗(yàn)室投入此項(xiàng)研究，美國(guó)軍方甚至認(rèn)為神經(jīng)網(wǎng)絡(luò)工程應(yīng)當(dāng)比“原子彈工程”更重要而給予巨額資助，并在聲納信號(hào)識(shí)別等領(lǐng)域取得一定成績(jī)。1960年，B.Windrow和E.Hoff提出了自適應(yīng)線性單元，它可用于自適應(yīng)濾波、預(yù)測(cè)和模式識(shí)別。至此，人工神經(jīng)網(wǎng)絡(luò)的研究工作進(jìn)入了第一個(gè)高潮。

1969年，美國(guó)著名人工智能學(xué)者M(jìn).Minsky和S.Papert編寫了影響很大的Perceptron一書，從理論上證明單層感知機(jī)的能力有限，諸如不能解決異或問題，而且他們推測(cè)多層網(wǎng)絡(luò)的感知機(jī)能力也不過如此，他們的分析恰似一瓢冷水，很多學(xué)者感到前途渺茫而紛紛改行，原先參與研究的實(shí)驗(yàn)室紛紛退出，在這之后近10年，神經(jīng)網(wǎng)絡(luò)研究進(jìn)入了一個(gè)緩慢發(fā)展的蕭條期。這期間，芬蘭學(xué)者T.Kohonen 提出了自組織映射理論，反映了大腦神經(jīng)細(xì)胞的自組織特性、記憶方式以及神經(jīng)細(xì)胞興奮刺激的規(guī)律；美國(guó)學(xué)者S.A.Grossberg的自適應(yīng)共振理論（ART ）；日本學(xué)者K.Fukushima提出了認(rèn)知機(jī)模型；ShunIchimari則致力于神經(jīng)網(wǎng)絡(luò)有關(guān)數(shù)學(xué)理論的研究等，這些研究成果對(duì)以后的神經(jīng)網(wǎng)絡(luò)的發(fā)展產(chǎn)生了重要影響。

美國(guó)生物物理學(xué)家J.J.Hopfield于1982年、1984年在美國(guó)科學(xué)院院刊發(fā)表的兩篇文章，有力地推動(dòng)了神經(jīng)網(wǎng)絡(luò)的研究，引起了研究神經(jīng)網(wǎng)絡(luò)的又一次熱潮。 1982 年，他提出了一個(gè)新的神經(jīng)網(wǎng)絡(luò)模型——hopfield網(wǎng)絡(luò)模型。他在這種網(wǎng)絡(luò)模型的研究中，首次引入了網(wǎng)絡(luò)能量函數(shù)的概念，并給出了網(wǎng)絡(luò)穩(wěn)定性的判定依據(jù)。1984年，他又提出了網(wǎng)絡(luò)模型實(shí)現(xiàn)的電子電路，為神經(jīng)網(wǎng)絡(luò)的工程實(shí)現(xiàn)指明了方向，他的研究成果開拓了神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶的優(yōu)化計(jì)算的新途徑，并為神經(jīng)計(jì)算機(jī)研究奠定了基礎(chǔ)。1984年Hinton等人將模擬退火算法引入到神經(jīng)網(wǎng)絡(luò)中，提出了Boltzmann機(jī)網(wǎng)絡(luò)模型，BM 網(wǎng)絡(luò)算法為神經(jīng)網(wǎng)絡(luò)優(yōu)化計(jì)算提供了一個(gè)有效的方法。1986年，D.E.Rumelhart和J.LMcclelland提出了誤差反向傳播算法，成為至今為止影響很大的一種網(wǎng)絡(luò)學(xué)習(xí)方法。1987年美國(guó)神經(jīng)計(jì)算機(jī)專家R.Hecht—Nielsen提出了對(duì)向傳播神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有分類靈活，算法簡(jiǎn)練的優(yōu)點(diǎn)，可用于模式分類、函數(shù)逼近、統(tǒng)計(jì)分析和數(shù)據(jù)壓縮等領(lǐng)域。1988年L.Ochua 等人提出了細(xì)胞神經(jīng)網(wǎng)絡(luò)模型，它在視覺初級(jí)加工上得到了廣泛應(yīng)用。

為適應(yīng)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展，1987年成立了國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)，并決定定期召開國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議。1988年1月Neural Network 創(chuàng)刊。1990年3月IEEE Transaction on Neural Network問世。我國(guó)于1990年12月在北京召開了首屆神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)大會(huì)，并決定以后每年召開一次。1991 年在南京成立了中國(guó)神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)。 IEEE 與INNS 聯(lián)合召開的IJCNN92已在北京召開。這些為神經(jīng)網(wǎng)絡(luò)的研究和發(fā)展起了推波助瀾的作用，人工神經(jīng)網(wǎng)絡(luò)步入了穩(wěn)步發(fā)展的時(shí)期。

90年代初，諾貝爾獎(jiǎng)獲得者Edelman提出了Darwinism模型，建立了神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論。同年，Aihara等在前人推導(dǎo)和實(shí)驗(yàn)的基礎(chǔ)上，給出了一個(gè)混沌神經(jīng)元模型，該模型已成為一種經(jīng)典的混沌神經(jīng)網(wǎng)絡(luò)模型，該模型可用于聯(lián)想記憶。 Wunsch 在90OSA 年會(huì)上提出了一種AnnualMeeting，用光電執(zhí)行ART，學(xué)習(xí)過程有自適應(yīng)濾波和推理功能，具有快速和穩(wěn)定的學(xué)習(xí)特點(diǎn)。1991年，Hertz探討了神經(jīng)計(jì)算理論，對(duì)神經(jīng)網(wǎng)絡(luò)的計(jì)算復(fù)雜性分析具有重要意義；Inoue 等提出用耦合的混沌振蕩子作為某個(gè)神經(jīng)元，構(gòu)造混沌神經(jīng)網(wǎng)絡(luò)模型，為它的廣泛應(yīng)用前景指明了道路。1992年，Holland用模擬生物進(jìn)化的方式提出了遺傳算法，用來求解復(fù)雜優(yōu)化問題。1993年方建安等采用遺傳算法學(xué)習(xí)，研究神經(jīng)網(wǎng)絡(luò)控制器獲得了一些結(jié)果。1994年Angeline等在前人進(jìn)化策略理論的基礎(chǔ)上，提出一種進(jìn)化算法來建立反饋神經(jīng)網(wǎng)絡(luò)，成功地應(yīng)用到模式識(shí)別，自動(dòng)控制等方面；廖曉昕對(duì)細(xì)胞神經(jīng)網(wǎng)絡(luò)建立了新的數(shù)學(xué)理論和方法，得到了一系列結(jié)果。HayashlY根據(jù)動(dòng)物大腦中出現(xiàn)的振蕩現(xiàn)象，提出了振蕩神經(jīng)網(wǎng)絡(luò)。1995年Mitra把人工神經(jīng)網(wǎng)絡(luò)與模糊邏輯理論、生物細(xì)胞學(xué)說以及概率論相結(jié)合提出了模糊神經(jīng)網(wǎng)絡(luò)，使得神經(jīng)網(wǎng)絡(luò)的研究取得了突破性進(jìn)展。Jenkins等人研究光學(xué)神經(jīng)網(wǎng)絡(luò)，建立了光學(xué)二維并行互連與電子學(xué)混合的光學(xué)神經(jīng)網(wǎng)絡(luò)，它能避免網(wǎng)絡(luò)陷入局部最小值，并最后可達(dá)到或接近最理想的解；SoleRV等提出流體神經(jīng)網(wǎng)絡(luò)，用來研究昆蟲社會(huì)，機(jī)器人集體免疫系統(tǒng)，啟發(fā)人們用混沌理論分析社會(huì)大系統(tǒng)。1996年，ShuaiJW’等模擬人腦的自發(fā)展行為，在討論混沌神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上提出了自發(fā)展神經(jīng)網(wǎng)絡(luò)。1997、1998年董聰?shù)葎?chuàng)立和完善了廣義遺傳算法，解決了多層前向網(wǎng)絡(luò)的最簡(jiǎn)拓樸構(gòu)造問題和全局最優(yōu)逼近問題。

隨著理論工作的發(fā)展，神經(jīng)網(wǎng)絡(luò)的應(yīng)用研究也取得了突破性進(jìn)展，涉及面非常廣泛，就應(yīng)用的技術(shù)領(lǐng)域而言有計(jì)算機(jī)視覺，語言的識(shí)別、理解與合成，優(yōu)化計(jì)算，智能控制及復(fù)雜系統(tǒng)分析，模式識(shí)別，神經(jīng)計(jì)算機(jī)研制，知識(shí)推理專家系統(tǒng)與人工智能。涉及的學(xué)科有神經(jīng)生理學(xué)、認(rèn)識(shí)科學(xué)、數(shù)理科學(xué)、心理學(xué)、信息科學(xué)、計(jì)算機(jī)科學(xué)、微電子學(xué)、光學(xué)、動(dòng)力學(xué)、生物電子學(xué)等。美國(guó)、日本等國(guó)在神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)軟硬件實(shí)現(xiàn)的開發(fā)方面也取得了顯著的成績(jī)，并逐步形成產(chǎn)品。在美國(guó)，神經(jīng)計(jì)算機(jī)產(chǎn)業(yè)已獲得軍方的強(qiáng)有力支持，國(guó)防部高級(jí)研究計(jì)劃局認(rèn)為“神經(jīng)網(wǎng)絡(luò)是解決機(jī)器智能的唯一希望”，僅一項(xiàng)8 年神經(jīng)計(jì)算機(jī)計(jì)劃就投資4億美元。在歐洲共同體的ESPRIT計(jì)劃中，就有一項(xiàng)特別項(xiàng)目：“神經(jīng)網(wǎng)絡(luò)在歐洲工業(yè)中的應(yīng)用”，單是生產(chǎn)神經(jīng)網(wǎng)絡(luò)專用芯片這一項(xiàng)就投資2200萬美元。據(jù)美國(guó)資料聲稱，日本在神經(jīng)網(wǎng)絡(luò)研究上的投資大約是美國(guó)的4倍。我國(guó)也不甘落后，自從1990 年批準(zhǔn)了南開大學(xué)的光學(xué)神經(jīng)計(jì)算機(jī)等3項(xiàng)課題以來，國(guó)家自然科學(xué)基金與國(guó)防預(yù)研基金也都為神經(jīng)網(wǎng)絡(luò)的研究提供資助。另外，許多國(guó)際著名公司也紛紛卷入對(duì)神經(jīng)網(wǎng)絡(luò)的研究，如Intel、IBM、Siemens、HNC。神經(jīng)計(jì)算機(jī)產(chǎn)品開始走向商用階段，被國(guó)防、企業(yè)和科研部門選用。在舉世矚目的海灣戰(zhàn)爭(zhēng)中，美國(guó)空軍采用了神經(jīng)網(wǎng)絡(luò)來進(jìn)行決策與控制。在這種刺激和需求下，人工神經(jīng)網(wǎng)絡(luò)定會(huì)取得新的突破，迎來又一個(gè)高潮。自1958年第一個(gè)神經(jīng)網(wǎng)絡(luò)誕生以來，其理論與應(yīng)用成果不勝枚舉。人工神經(jīng)網(wǎng)絡(luò)是一個(gè)快速發(fā)展著的一門新興學(xué)科，新的模型、新的理論、新的應(yīng)用成果正在層出不窮地涌現(xiàn)出來。

3 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展前景

針對(duì)神經(jīng)網(wǎng)絡(luò)存在的問題和社會(huì)需求，今后發(fā)展的主要方向可分為理論研究和應(yīng)用研究?jī)蓚€(gè)方面。

（1）利用神經(jīng)生理與認(rèn)識(shí)科學(xué)研究大腦思維及智能的機(jī)理、計(jì)算理論，帶著問題研究理論。

人工神經(jīng)網(wǎng)絡(luò)提供了一種揭示智能和了解人腦工作方式的合理途徑，但是由于人類起初對(duì)神經(jīng)系統(tǒng)了解非常有限，對(duì)于自身腦結(jié)構(gòu)及其活動(dòng)機(jī)理的認(rèn)識(shí)還十分膚淺，并且?guī)в心撤N“先驗(yàn)”。例如， Boltzmann機(jī)引入隨機(jī)擾動(dòng)來避免局部極小，有其卓越之處，然而缺乏必要的腦生理學(xué)基礎(chǔ)，毫無疑問，人工神經(jīng)網(wǎng)絡(luò)的完善與發(fā)展要結(jié)合神經(jīng)科學(xué)的研究。而且，神經(jīng)科學(xué)，心理學(xué)和認(rèn)識(shí)科學(xué)等方面提出的一些重大問題，是向神經(jīng)網(wǎng)絡(luò)理論研究提出的新挑戰(zhàn)，這些問題的解決有助于完善和發(fā)展神經(jīng)網(wǎng)絡(luò)理論。因此利用神經(jīng)生理和認(rèn)識(shí)科學(xué)研究大腦思維及智能的機(jī)理，如有新的突破，將會(huì)改變智能和機(jī)器關(guān)系的認(rèn)識(shí)。

利用神經(jīng)科學(xué)基礎(chǔ)理論的研究成果，用數(shù)理方法探索智能水平更高的人工神經(jīng)網(wǎng)絡(luò)模型，深入研究網(wǎng)絡(luò)的算法和性能，如神經(jīng)計(jì)算、進(jìn)化計(jì)算、穩(wěn)定性、收斂性、計(jì)算復(fù)雜性、容錯(cuò)性、魯棒性等，開發(fā)新的網(wǎng)絡(luò)數(shù)理理論。由于神經(jīng)網(wǎng)絡(luò)的非線性，因此非線性問題的研究是神經(jīng)網(wǎng)絡(luò)理論發(fā)展的一個(gè)最大動(dòng)力。特別是人們發(fā)現(xiàn)，腦中存在著混沌現(xiàn)象以來，用混沌動(dòng)力學(xué)啟發(fā)神經(jīng)網(wǎng)絡(luò)的研究或用神經(jīng)網(wǎng)絡(luò)產(chǎn)生混沌成為擺在人們面前的一個(gè)新課題，因?yàn)閺纳肀举|(zhì)角度出發(fā)是研究神經(jīng)網(wǎng)絡(luò)的根本手段。

（2）神經(jīng)網(wǎng)絡(luò)軟件模擬，硬件實(shí)現(xiàn)的研究以及神經(jīng)網(wǎng)絡(luò)在各個(gè)科學(xué)技術(shù)領(lǐng)域應(yīng)用的研究。

由于人工神經(jīng)網(wǎng)絡(luò)可以用傳統(tǒng)計(jì)算機(jī)模擬，也可以用集成電路芯片組成神經(jīng)計(jì)算機(jī)，甚至還可以用光學(xué)的、生物芯片的方式實(shí)現(xiàn)，因此研制純軟件模擬，虛擬模擬和全硬件實(shí)現(xiàn)的電子神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)潛力巨大。如何使神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)與傳統(tǒng)的計(jì)算機(jī)和人工智能技術(shù)相結(jié)合也是前沿課題；如何使神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)的功能向智能化發(fā)展，研制與人腦功能相似的智能計(jì)算機(jī)，如光學(xué)神經(jīng)計(jì)算機(jī)，分子神經(jīng)計(jì)算機(jī)，將具有十分誘人的前景。

4 哲理

（1）人工神經(jīng)網(wǎng)絡(luò)打開了認(rèn)識(shí)論的新領(lǐng)域

認(rèn)識(shí)與腦的問題，長(zhǎng)期以來一直受到人們的關(guān)注，因?yàn)樗粌H是有關(guān)人的心理、意識(shí)的心理學(xué)問題，也是有關(guān)人的思維活動(dòng)機(jī)制的腦科學(xué)與思維科學(xué)問題，而且直接關(guān)系到對(duì)物質(zhì)與意識(shí)的哲學(xué)基本問題的回答。人工神經(jīng)網(wǎng)絡(luò)的發(fā)展使我們能夠更進(jìn)一步地既唯物又辯證地理解認(rèn)識(shí)與腦的關(guān)系，打開認(rèn)識(shí)論的新領(lǐng)域。人腦是一個(gè)復(fù)雜的并行系統(tǒng)，它具有“認(rèn)知、意識(shí)、情感”等高級(jí)腦功能，用人工進(jìn)行模擬，有利于加深對(duì)思維及智能的認(rèn)識(shí)，已對(duì)認(rèn)知和智力的本質(zhì)的研究產(chǎn)生了極大的推動(dòng)作用。在研究大腦的整體功能和復(fù)雜性方面，人工神經(jīng)網(wǎng)絡(luò)給人們帶來了新的啟迪。由于人腦中存在混沌現(xiàn)象，混沌可用來理解腦中某些不規(guī)則的活動(dòng)，從而混沌動(dòng)力學(xué)模型能用作人對(duì)外部世界建模的工具，可用來描述人腦的信息處理過程?；煦绾椭悄苁怯嘘P(guān)的，神經(jīng)網(wǎng)絡(luò)中引入混沌學(xué)思想有助于提示人類形象思維等方面的奧秘。人工神經(jīng)網(wǎng)絡(luò)之所以再度興起，關(guān)鍵在于它反映了事物的非線性，抓住了客觀世界的本質(zhì)，而且它在一定程度上正面回答了智能系統(tǒng)如何從環(huán)境中自主學(xué)習(xí)這一最關(guān)鍵的問題，從認(rèn)知的角度講，所謂學(xué)習(xí)，就是對(duì)未知現(xiàn)象或規(guī)律的發(fā)現(xiàn)和歸納。由于神經(jīng)網(wǎng)絡(luò)具有高度的并行性，高度的非線性全局作用，良好的容錯(cuò)性與聯(lián)想記憶功能以及十分強(qiáng)的自適應(yīng)、自學(xué)習(xí)功能，而使得它成為揭示智能和了解人腦工作方式的合理途徑。但是，由于認(rèn)知問題的復(fù)雜性，目前，我們對(duì)于腦神經(jīng)網(wǎng)的運(yùn)行和神經(jīng)細(xì)胞的內(nèi)部處理機(jī)制，如信息在人腦是如何傳輸、存貯、加工的？記憶、聯(lián)想、判斷是如何形成的？大腦是否存在一個(gè)操作系統(tǒng)？還沒有太多的認(rèn)識(shí)，因此要制造人工神經(jīng)網(wǎng)絡(luò)來模仿人腦各方面的功能，還有待于人們對(duì)大腦信息處理機(jī)理認(rèn)識(shí)的深化。

（2）人工神經(jīng)網(wǎng)絡(luò)發(fā)展的推動(dòng)力來源于實(shí)踐、理論和問題的相互作用

隨著人們社會(huì)實(shí)踐范圍的不斷擴(kuò)大，社會(huì)實(shí)踐層次的不斷深入，人們所接觸到的自然現(xiàn)象也越來越豐富多彩、紛繁復(fù)雜，這就促使人們用不同的原因加以解釋不同種類的自然現(xiàn)象，當(dāng)不同種類的自然現(xiàn)象可以用同樣的原因加以解釋，這樣就出現(xiàn)了不同學(xué)科的相互交叉、綜合，人工神經(jīng)網(wǎng)絡(luò)就這樣產(chǎn)生了。在開始階段，由于這些理論化的網(wǎng)絡(luò)模型比較簡(jiǎn)單，還存在許多問題，而且這些模型幾乎沒有得到實(shí)踐的檢驗(yàn)，因而神經(jīng)網(wǎng)絡(luò)的發(fā)展比較緩慢。隨著理論研究的深入，問題逐漸地解決特別是工程上得到實(shí)現(xiàn)以后，如聲納識(shí)別成功，才迎來了神經(jīng)網(wǎng)絡(luò)的第一個(gè)發(fā)展高潮?？蒑inisky認(rèn)為感知器不能解決異或問題，多層感知器也不過如此，神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了低谷，這主要是因?yàn)榉蔷€性問題沒得到解決。隨著理論的不斷豐富，實(shí)踐的不斷深入，現(xiàn)在已證明Minisky的悲觀論調(diào)是錯(cuò)誤的。今天，高度發(fā)達(dá)的科學(xué)技術(shù)逐漸揭示了非線性問題是客觀世界的本質(zhì)。問題、理論、實(shí)踐的相互作用又迎來了人工神經(jīng)網(wǎng)絡(luò)的第二次高潮。目前人工神經(jīng)網(wǎng)絡(luò)的問題是智能水平不高，還有其它理論和實(shí)現(xiàn)方面的問題，這就迫使人們不斷地進(jìn)行理論研究，不斷實(shí)踐，促使神經(jīng)網(wǎng)絡(luò)不斷向前發(fā)展?？傊惹暗脑蛴龅搅私忉尣煌男卢F(xiàn)象，促使人們提出更加普遍和精確的原因來解釋。理論是基礎(chǔ)，實(shí)踐是動(dòng)力，但單純的理論和實(shí)踐的作用還不能推動(dòng)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展，還必須有問題提出，才能吸引科學(xué)家進(jìn)入研究的特定范圍，引導(dǎo)科學(xué)家從事相關(guān)研究，從而逼近科學(xué)發(fā)現(xiàn)，而后實(shí)踐又提出新問題，新問題又引發(fā)新的思考，促使科學(xué)家不斷思考，不斷完善理論。人工神經(jīng)網(wǎng)絡(luò)的發(fā)展無不體現(xiàn)著問題、理論和實(shí)踐的辯證統(tǒng)一關(guān)系。

（3 ）人工神經(jīng)網(wǎng)絡(luò)發(fā)展的另一推動(dòng)力來源于相關(guān)學(xué)科的貢獻(xiàn)及不同學(xué)科專家的競(jìng)爭(zhēng)與協(xié)同

人工神經(jīng)網(wǎng)絡(luò)本身就是一門邊緣學(xué)科，它的發(fā)展有更廣闊的科學(xué)背景，亦即是眾多科研成果的綜合產(chǎn)物，控制論創(chuàng)始人Wiener在其巨著《控制論》中就進(jìn)行了人腦神經(jīng)元的研究；計(jì)算機(jī)科學(xué)家Turing就提出過B網(wǎng)絡(luò)的設(shè)想；Prigogine提出非平衡系統(tǒng)的自組織理論，獲得諾貝爾獎(jiǎng)；Haken研究大量元件聯(lián)合行動(dòng)而產(chǎn)生宏觀效果，非線性系統(tǒng)“混沌”態(tài)的提出及其研究等，都是研究如何通過元件間的相互作用建立復(fù)雜系統(tǒng)，類似于生物系統(tǒng)的自組織行為。腦科學(xué)與神經(jīng)科學(xué)的進(jìn)展迅速反映到人工神經(jīng)網(wǎng)絡(luò)的研究中，例如生物神經(jīng)網(wǎng)絡(luò)理論，視覺中發(fā)現(xiàn)的側(cè)抑制原理，感受野概念等，為神經(jīng)網(wǎng)絡(luò)的發(fā)展起了重要的推動(dòng)作用。從已提出的上百種人工神經(jīng)網(wǎng)絡(luò)模型中，涉及學(xué)科之多，令人目不暇接，其應(yīng)用領(lǐng)域之廣，令人嘆為觀止。不同學(xué)科專家為了在這一領(lǐng)域取得領(lǐng)先水平，存在著不同程度的競(jìng)爭(zhēng)，所有這些有力地推動(dòng)了人工神經(jīng)網(wǎng)絡(luò)的發(fā)展。人腦是一個(gè)功能十分強(qiáng)大、結(jié)構(gòu)異常復(fù)雜的信息系統(tǒng)，隨著信息論、控制論、生命科學(xué)，計(jì)算機(jī)科學(xué)的發(fā)展，人們?cè)絹碓襟@異于大腦的奇妙，至少到目前為止，人類大腦信號(hào)處理機(jī)制對(duì)人類自身來說，仍是一個(gè)黑盒子，要揭示人腦的奧秘需要神經(jīng)學(xué)家、心理學(xué)家、計(jì)算機(jī)科學(xué)家、微電子學(xué)家、數(shù)學(xué)家等專家的共同努力，對(duì)人類智能行為不斷深入研究，為人工神經(jīng)網(wǎng)絡(luò)發(fā)展提供豐富的理論源泉。另外，還要有哲學(xué)家的參與，通過哲學(xué)思想和自然科學(xué)多種學(xué)科的深層結(jié)合，逐步孕育出探索人類思維本質(zhì)和規(guī)律的新方法，使思維科學(xué)從朦朧走向理性。而且，不同領(lǐng)域?qū)＜业母?jìng)爭(zhēng)與協(xié)調(diào)同有利于問題清晰化和尋求最好的解決途徑?？v觀神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史，沒有相關(guān)學(xué)科的貢獻(xiàn)，不同學(xué)科專家的競(jìng)爭(zhēng)與協(xié)同，神經(jīng)網(wǎng)絡(luò)就不會(huì)有今天。當(dāng)然，人工神經(jīng)網(wǎng)絡(luò)在各個(gè)學(xué)科領(lǐng)域應(yīng)用的研究反過來又推動(dòng)其它學(xué)科的發(fā)展，推動(dòng)自身的完善和發(fā)展。

二、如何用神經(jīng)網(wǎng)絡(luò)遺傳算法求極值？

===============學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)可以到<神經(jīng)網(wǎng)絡(luò)之家>================

可以先用matlab神經(jīng)網(wǎng)絡(luò)工具箱訓(xùn)練網(wǎng)絡(luò),當(dāng)網(wǎng)絡(luò)訓(xùn)練好之后,把網(wǎng)絡(luò)存起來.

然后編寫遺傳算法,你知道,遺傳算法是每代不斷迭代的,然后每代會(huì)根據(jù)適應(yīng)度決定是否進(jìn)入下一代,這里的適應(yīng)度你就用sim(net,x)得到的值的倒數(shù)(或者類似的)作為適應(yīng)度,然后其它就和遺傳算法沒什么兩樣了.最后得到的最優(yōu)解, 就是網(wǎng)絡(luò)的最優(yōu)解. 也就是你要的結(jié)果了.

不過兄弟,這想法很牛B,很值得鼓勵(lì)這樣的想法.但我不得不說兩句,從實(shí)際角度來說,這樣的實(shí)現(xiàn)沒有太大的意義. 你的目的就是想從數(shù)據(jù)中找到Y(jié)最小的時(shí)候,X的什么值, 但數(shù)據(jù)上畢竟只是數(shù)據(jù),不管你怎么繞,透露出來的信息還是有限的,不管怎么繞,其實(shí)數(shù)據(jù)能提供最大限度的信息就是:在Y=10.88時(shí),即X1=25,X2=24....X6=1.5時(shí),Y是最小值的, 這是數(shù)據(jù)能提供的最大限度的信息,你再怎么繞, 其實(shí)當(dāng)你懂得神經(jīng)網(wǎng)絡(luò)的深層原理時(shí),你會(huì)發(fā)現(xiàn),你的方案并沒能挖掘出更優(yōu)的解(因?yàn)閿?shù)據(jù)的信息是有限的),這只是把自己繞暈了

不過能有這樣的想法,兄弟肯定是個(gè)學(xué)習(xí)的好材料,加油.

===============學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)可以到<神經(jīng)網(wǎng)絡(luò)之家>================

三、30分鐘講清楚深度神經(jīng)網(wǎng)絡(luò)

這兩年神經(jīng)網(wǎng)絡(luò)各種火。但對(duì)很多人而言，只是聽著覺得各種高大上，究其本質(zhì)，還是聽不懂。下面我們花三十分鐘把這個(gè)事情講清楚。

神經(jīng)網(wǎng)絡(luò)算法是最早來源于某神經(jīng)生理學(xué)家和某數(shù)學(xué)家聯(lián)合發(fā)表的一篇論文，他們對(duì)人類神經(jīng)運(yùn)行規(guī)律的提出了一個(gè)猜想，并嘗試給出一個(gè)建模來模擬人類神經(jīng)元的運(yùn)行規(guī)律。

神經(jīng)網(wǎng)絡(luò)一開始由于求解問題的不穩(wěn)定，以及范圍有限被拋棄。后面又在各個(gè)大神的努力下，對(duì)遇到的問題一個(gè)個(gè)解決，加上因?yàn)橛螒驇淼挠?jì)算能力的提升獲得了一個(gè)爆發(fā)式的增長(zhǎng)。

下面我們講講神經(jīng)網(wǎng)絡(luò)是啥以及遇到的問題和探索出來的解決方案，最終我們給出一個(gè)深度神經(jīng)網(wǎng)絡(luò)的默認(rèn)的最優(yōu)配置項(xiàng)。

建立M個(gè)隱藏層，按順序建立輸入層跟隱藏層的聯(lián)結(jié)，最后建立隱藏層跟輸出層的聯(lián)結(jié)。為每個(gè)隱藏層的每個(gè)節(jié)點(diǎn)選擇激活函數(shù)。求解每個(gè)聯(lián)結(jié)的權(quán)重和每個(gè)節(jié)點(diǎn)自帶的bias值。參見下圖。

所謂激活函數(shù)就是對(duì)各個(gè)路徑的輸入求和之后進(jìn)一步增強(qiáng)的函數(shù) 。

典型的有如下幾個(gè)：

下面這個(gè)圖里面，是已知的各個(gè)聯(lián)結(jié)線的權(quán)值，求y1, y2

這個(gè)練習(xí)可以測(cè)試對(duì)神經(jīng)網(wǎng)絡(luò)的理解。

所謂神經(jīng)網(wǎng)絡(luò)問題的訓(xùn)練本質(zhì)，就是已知 y1,y2....yn，已知x1, x2....xm，求解每個(gè)連接的權(quán)值和每個(gè)神經(jīng)元上的偏差值。對(duì)單層的激活函數(shù)為RELU的神經(jīng)網(wǎng)絡(luò)而言就是， y = max(sum(w * x)+b, 0)，已知y和x，求解w和b。

對(duì)于以上求解w和b的值，科學(xué)家們發(fā)現(xiàn)可以通過反向傳播和梯度下降相結(jié)合來求解。就是一開始用隨機(jī)數(shù)初始化我們每個(gè)聯(lián)結(jié)的權(quán)值，然后通過神經(jīng)網(wǎng)絡(luò)計(jì)算出來的y值跟真實(shí)的y值做比對(duì)。如果這個(gè)值相差比較大，則修改當(dāng)前層的聯(lián)結(jié)的權(quán)重。當(dāng)發(fā)現(xiàn)這個(gè)值相差不大時(shí)，則修改更低一層的權(quán)重。這個(gè)步驟一直重復(fù)，逐步傳遞到第一層的權(quán)值。

三大問題：

針對(duì)這三個(gè)問題，大拿們開始了一場(chǎng)探索之旅。

神經(jīng)網(wǎng)絡(luò)的求解是通過反向傳播的技術(shù)來解決的。通過梯度下降法。問題是，反向傳播從輸出層開始一步一步傳到Layer 1時(shí)，越到低層，聯(lián)結(jié)的權(quán)值變化越小，直到?jīng)]變化。這種叫梯度消失。還有一些呢？則是越到第一層，變化越來越大。這種叫梯度爆炸。常見于RNN。

解決方案探索如下：

目前來說，通常用1+2 多于 3 多于 4。就是現(xiàn)在一般使用He initialization跟ReLU的演進(jìn)版本作為作為激活函數(shù)來解決梯度消失和爆炸的問題，其次才使用Batch Normalization，最后使用Gradient Clipping。

通常來說，我們很難獲得足夠的標(biāo)記好的訓(xùn)練數(shù)據(jù)。常用解決方案如下：

對(duì)于大規(guī)模數(shù)據(jù)的訓(xùn)練，很多時(shí)候速度很慢。除了解決梯度消失或爆炸的問題之外，還有使用AdamOptimizer替代GradientDescentOptimizer會(huì)大大加快收斂速度。

我們后面會(huì)教大家用tensorflow構(gòu)造出一個(gè)神經(jīng)網(wǎng)絡(luò)并求解。

四、求高人解釋一下這個(gè)MATLAB的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)算法的程序。

不知道他寫的好不好，我的想法是用四個(gè)季度的輸入去預(yù)測(cè)下一個(gè)季度的輸出，這樣就能夠產(chǎn)生8組參數(shù)。但是輸出的只能是第四年的第一個(gè)季度。再用預(yù)測(cè)值去進(jìn)行再預(yù)測(cè)，不知道第四個(gè)季度的誤差會(huì)多大。你可以試試。

以上就是關(guān)于神經(jīng)網(wǎng)絡(luò)算法實(shí)驗(yàn)報(bào)告相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。