正文

神經(jīng)網(wǎng)絡(luò)的方法原理（神經(jīng)網(wǎng)絡(luò)的原理是什么）

發(fā)布時(shí)間：2023-04-22 00:47:22 稿源：創(chuàng)意嶺閱讀： 141

大家好！今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于神經(jīng)網(wǎng)絡(luò)的方法原理的問(wèn)題，以下是小編對(duì)此問(wèn)題的歸納整理，讓我們一起來(lái)看看吧。

開(kāi)始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫(xiě)出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁(yè)版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、神經(jīng)網(wǎng)絡(luò)算法原理？
2、深入淺出BP神經(jīng)網(wǎng)絡(luò)算法的原理
3、神經(jīng)網(wǎng)絡(luò)淺談
4、神經(jīng)網(wǎng)絡(luò)原理怎么樣

神經(jīng)網(wǎng)絡(luò)的方法原理（神經(jīng)網(wǎng)絡(luò)的原理是什么）

一、神經(jīng)網(wǎng)絡(luò)算法原理？

神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)學(xué)習(xí)樣本中的駕駛行為特征。如圖顯示了某個(gè)駕駛場(chǎng)景的行駛路徑深度學(xué)習(xí)訓(xùn)練，通過(guò)神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)駕駛?cè)说男袨?，并根?jù)當(dāng)前獲取的環(huán)境信息決策行駛軌跡，進(jìn)而可以控制車輛的轉(zhuǎn)向、制動(dòng)、驅(qū)動(dòng)實(shí)現(xiàn)軌跡跟蹤。

二、深入淺出BP神經(jīng)網(wǎng)絡(luò)算法的原理

深入淺出BP神經(jīng)網(wǎng)絡(luò)算法的原理

相信每位剛接觸神經(jīng)網(wǎng)絡(luò)的時(shí)候都會(huì)先碰到BP算法的問(wèn)題，如何形象快速地理解BP神經(jīng)網(wǎng)絡(luò)就是我們學(xué)習(xí)的高級(jí)樂(lè)趣了（畫(huà)外音：樂(lè)趣？你在跟我談樂(lè)趣？）

本篇博文就是要簡(jiǎn)單粗暴地幫助各位童鞋快速入門采取BP算法的神經(jīng)網(wǎng)絡(luò)。

BP神經(jīng)網(wǎng)絡(luò)是怎樣的一種定義？看這句話：一種按“誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練”的多層前饋網(wǎng)絡(luò)。

BP的思想就是：利用輸出后的誤差來(lái)估計(jì)輸出層前一層的誤差，再用這層誤差來(lái)估計(jì)更前一層誤差，如此獲取所有各層誤差估計(jì)。這里的誤差估計(jì)可以理解為某種偏導(dǎo)數(shù)，我們就是根據(jù)這種偏導(dǎo)數(shù)來(lái)調(diào)整各層的連接權(quán)值，再用調(diào)整后的連接權(quán)值重新計(jì)算輸出誤差。直到輸出的誤差達(dá)到符合的要求或者迭代次數(shù)溢出設(shè)定值。

說(shuō)來(lái)說(shuō)去，“誤差”這個(gè)詞說(shuō)的很多嘛，說(shuō)明這個(gè)算法是不是跟誤差有很大的關(guān)系？

沒(méi)錯(cuò)，BP的傳播對(duì)象就是“誤差”，傳播目的就是得到所有層的估計(jì)誤差。

它的學(xué)習(xí)規(guī)則是：使用最速下降法，通過(guò)反向傳播（就是一層一層往前傳）不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，最后使全局誤差系數(shù)最小。

它的學(xué)習(xí)本質(zhì)就是：對(duì)各連接權(quán)值的動(dòng)態(tài)調(diào)整。

拓?fù)浣Y(jié)構(gòu)如上圖：輸入層（input），隱藏層（hide layer），輸出層（output）

BP網(wǎng)絡(luò)的優(yōu)勢(shì)就是能學(xué)習(xí)和儲(chǔ)存大量的輸入輸出的關(guān)系，而不用事先指出這種數(shù)學(xué)關(guān)系。那么它是如何學(xué)習(xí)的？

BP利用處處可導(dǎo)的激活函數(shù)來(lái)描述該層輸入與該層輸出的關(guān)系，常用S型函數(shù)δ來(lái)當(dāng)作激活函數(shù)。

我們現(xiàn)在開(kāi)始有監(jiān)督的BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法：

1、正向傳播得到輸出層誤差e

=>輸入層輸入樣本=>各隱藏層=>輸出層

2、判斷是否反向傳播

=>若輸出層誤差與期望不符=>反向傳播

3、誤差反向傳播

=>誤差在各層顯示=>修正各層單元的權(quán)值，直到誤差減少到可接受程度。

算法闡述起來(lái)比較簡(jiǎn)單，接下來(lái)通過(guò)數(shù)學(xué)公式來(lái)認(rèn)識(shí)BP的真實(shí)面目。

假設(shè)我們的網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)含有N個(gè)神經(jīng)元的輸入層，含有P個(gè)神經(jīng)元的隱層，含有Q個(gè)神經(jīng)元的輸出層。

這些變量分別如下：

認(rèn)識(shí)好以上變量后，開(kāi)始計(jì)算：

一、用（-1，1）內(nèi)的隨機(jī)數(shù)初始化誤差函數(shù)，并設(shè)定精度ε，最多迭代次數(shù)M

二、隨機(jī)選取第k個(gè)輸入樣本及對(duì)應(yīng)的期望輸出

重復(fù)以下步驟至誤差達(dá)到要求：

三、計(jì)算隱含層各神經(jīng)元的輸入和輸出

四、計(jì)算誤差函數(shù)e對(duì)輸出層各神經(jīng)元的偏導(dǎo)數(shù)，根據(jù)輸出層期望輸出和實(shí)際輸出以及輸出層輸入等參數(shù)計(jì)算。

五、計(jì)算誤差函數(shù)對(duì)隱藏層各神經(jīng)元的偏導(dǎo)數(shù)，根據(jù)后一層（這里即輸出層）的靈敏度（稍后介紹靈敏度）δo(k)，后一層連接權(quán)值w，以及該層的輸入值等參數(shù)計(jì)算

六、利用第四步中的偏導(dǎo)數(shù)來(lái)修正輸出層連接權(quán)值

七、利用第五步中的偏導(dǎo)數(shù)來(lái)修正隱藏層連接權(quán)值

八、計(jì)算全局誤差（m個(gè)樣本，q個(gè)類別）

比較具體的計(jì)算方法介紹好了，接下來(lái)用比較簡(jiǎn)潔的數(shù)學(xué)公式來(lái)大致地概括這個(gè)過(guò)程，相信看完上述的詳細(xì)步驟都會(huì)有些了解和領(lǐng)悟。

假設(shè)我們的神經(jīng)網(wǎng)絡(luò)是這樣的，此時(shí)有兩個(gè)隱藏層。

我們先來(lái)理解靈敏度是什么？

看下面一個(gè)公式：

這個(gè)公式是誤差對(duì)b的一個(gè)偏導(dǎo)數(shù)，這個(gè)b是怎么？它是一個(gè)基，靈敏度δ就是誤差對(duì)基的變化率，也就是導(dǎo)數(shù)。

因?yàn)?u/?b=1，所以?E/?b=?E/?u=δ，也就是說(shuō)bias基的靈敏度?E/?b=δ等于誤差E對(duì)一個(gè)節(jié)點(diǎn)全部輸入u的導(dǎo)數(shù)?E/?u。

也可以認(rèn)為這里的靈敏度等于誤差E對(duì)該層輸入的導(dǎo)數(shù)，注意了，這里的輸入是上圖U級(jí)別的輸入，即已經(jīng)完成層與層權(quán)值計(jì)算后的輸入。

每一個(gè)隱藏層第l層的靈敏度為：

這里的“?”表示每個(gè)元素相乘，不懂的可與上面詳細(xì)公式對(duì)比理解

而輸出層的靈敏度計(jì)算方法不同，為：

而最后的修正權(quán)值為靈敏度乘以該層的輸入值，注意了，這里的輸入可是未曾乘以權(quán)值的輸入，即上圖的Xi級(jí)別。

對(duì)于每一個(gè)權(quán)值(W)ij都有一個(gè)特定的學(xué)習(xí)率ηIj，由算法學(xué)習(xí)完成。

三、神經(jīng)網(wǎng)絡(luò)淺談

人工智能技術(shù)是當(dāng)前炙手可熱的話題，而基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)技術(shù)更是熱點(diǎn)中的熱點(diǎn)。去年谷歌的Alpha Go 以4:1大比分的優(yōu)勢(shì)戰(zhàn)勝韓國(guó)的李世石九段，展現(xiàn)了深度學(xué)習(xí)的強(qiáng)大威力，后續(xù)強(qiáng)化版的Alpha Master和無(wú)師自通的Alpha Zero更是在表現(xiàn)上完全碾壓前者。不論你怎么看，以深度學(xué)習(xí)為代表的人工智能技術(shù)正在塑造未來(lái)。

下圖為英偉達(dá)（NVIDIA）公司近年來(lái)的股價(jià)情況，該公司的主要產(chǎn)品是“圖形處理器”（GPU），而GPU被證明能大大加快神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度，是深度學(xué)習(xí)必不可少的計(jì)算組件。英偉達(dá)公司近年來(lái)股價(jià)的飛漲足以證明當(dāng)前深度學(xué)習(xí)的井噴之勢(shì)。

好，話不多說(shuō)，下面簡(jiǎn)要介紹神經(jīng)網(wǎng)絡(luò)的基本原理、發(fā)展脈絡(luò)和優(yōu)勢(shì)。

神經(jīng)網(wǎng)絡(luò)是一種人類由于受到生物神經(jīng)細(xì)胞結(jié)構(gòu)啟發(fā)而研究出的一種算法體系，是機(jī)器學(xué)習(xí)算法大類中的一種。首先讓我們來(lái)看人腦神經(jīng)元細(xì)胞：

一個(gè)神經(jīng)元通常具有多個(gè)樹(shù)突，主要用來(lái)接受傳入信息，而軸突只有一條，軸突尾端有許多軸突末梢，可以給其他多個(gè)神經(jīng)元傳遞信息。軸突末梢跟其他神經(jīng)元的樹(shù)突產(chǎn)生連接，從而傳遞信號(hào)。

下圖是一個(gè)經(jīng)典的神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network,ANN）：

乍一看跟傳統(tǒng)互聯(lián)網(wǎng)的拓?fù)鋱D有點(diǎn)類似，這也是稱其為網(wǎng)絡(luò)的原因，不同的是節(jié)點(diǎn)之間通過(guò)有向線段連接，并且節(jié)點(diǎn)被分成三層。我們稱圖中的圓圈為神經(jīng)元，左邊三個(gè)神經(jīng)元組成的一列為輸入層，中間神經(jīng)元列為隱藏層,右邊神經(jīng)元列為輸出層，神經(jīng)元之間的箭頭為權(quán)重。

神經(jīng)元是計(jì)算單元，相當(dāng)于神經(jīng)元細(xì)胞的細(xì)胞核，利用輸入的數(shù)據(jù)進(jìn)行計(jì)算，然后輸出，一般由一個(gè)線性計(jì)算部分和一個(gè)非線性計(jì)算部分組成；輸入層和輸出層實(shí)現(xiàn)數(shù)據(jù)的輸入輸出，相當(dāng)于細(xì)胞的樹(shù)突和軸突末梢；隱藏層指既不是輸入也不是輸出的神經(jīng)元層，一個(gè)神經(jīng)網(wǎng)絡(luò)可以有很多個(gè)隱藏層。

神經(jīng)網(wǎng)絡(luò)的關(guān)鍵不是圓圈代表的神經(jīng)元，而是每條連接線對(duì)應(yīng)的權(quán)重。每條連接線對(duì)應(yīng)一個(gè)權(quán)重，也就是一個(gè)參數(shù)。權(quán)重具體的值需要通過(guò)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練才能獲得。我們實(shí)際生活中的學(xué)習(xí)體現(xiàn)在大腦中就是一系列神經(jīng)網(wǎng)絡(luò)回路的建立與強(qiáng)化，多次重復(fù)的學(xué)習(xí)能讓回路變得更加粗壯，使得信號(hào)的傳遞速度加快，最后對(duì)外表現(xiàn)為“深刻”的記憶。人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練也借鑒于此，如果某種映射關(guān)系出現(xiàn)很多次，那么在訓(xùn)練過(guò)程中就相應(yīng)調(diào)高其權(quán)重。

1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts參考了生物神經(jīng)元的結(jié)構(gòu)，發(fā)表了抽象的神經(jīng)元模型MP：

符號(hào)化后的模型如下：

Sum函數(shù)計(jì)算各權(quán)重與輸入乘積的線性組合，是神經(jīng)元中的線性計(jì)算部分，而sgn是取符號(hào)函數(shù)，當(dāng)輸入大于0時(shí)，輸出1，反之輸出0，是神經(jīng)元中的非線性部分。向量化后的公式為z=sgn(w^T a)（w^T=(w_1,w_2,w_3)，a=〖(a_1,a_2,a_3)〗^T）。

但是，MP模型中，權(quán)重的值都是預(yù)先設(shè)置的，因此不能學(xué)習(xí)。該模型雖然簡(jiǎn)單，并且作用有限，但已經(jīng)建立了神經(jīng)網(wǎng)絡(luò)大廈的地基

1958年，計(jì)算科學(xué)家Rosenblatt提出了由兩層神經(jīng)元組成(一個(gè)輸入層，一個(gè)輸出層)的神經(jīng)網(wǎng)絡(luò)。他給它起了一個(gè)名字–“感知器”（Perceptron）

感知器是當(dāng)時(shí)首個(gè)可以學(xué)習(xí)的人工神經(jīng)網(wǎng)絡(luò)。Rosenblatt現(xiàn)場(chǎng)演示了其學(xué)習(xí)識(shí)別簡(jiǎn)單圖像的過(guò)程，在當(dāng)時(shí)引起了轟動(dòng)，掀起了第一波神經(jīng)網(wǎng)絡(luò)的研究熱潮。

但感知器只能做簡(jiǎn)單的線性分類任務(wù)。1969年，人工智能領(lǐng)域的巨擘Minsky指出這點(diǎn)，并同時(shí)指出感知器對(duì)XOR（異或，即兩個(gè)輸入相同時(shí)輸出0，不同時(shí)輸出1）這樣的簡(jiǎn)單邏輯都無(wú)法解決。所以，明斯基認(rèn)為神經(jīng)網(wǎng)絡(luò)是沒(méi)有價(jià)值的。

隨后，神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入低谷，又稱 AI Winter 。

Minsky說(shuō)過(guò)單層神經(jīng)網(wǎng)絡(luò)無(wú)法解決異或問(wèn)題，但是當(dāng)增加一個(gè)計(jì)算層以后，兩層神經(jīng)網(wǎng)絡(luò)不僅可以解決異或問(wèn)題，而且具有非常好的非線性分類效果。

下圖為兩層神經(jīng)網(wǎng)絡(luò)（輸入層一般不算在內(nèi)）：

上圖中，輸出層的輸入是上一層的輸出。

向量化后的公式為：

注意：

每個(gè)神經(jīng)元節(jié)點(diǎn)默認(rèn)都有偏置變量b，加上偏置變量后的計(jì)算公式為：

同時(shí)，兩層神經(jīng)網(wǎng)絡(luò)不再使用sgn函數(shù)作為激勵(lì)函數(shù)，而采用平滑的sigmoid函數(shù)：

σ(z)=1/(1+e^(-z) )

其圖像如下：

理論證明：兩層及以上的神經(jīng)網(wǎng)絡(luò)可以無(wú)限逼近真實(shí)的對(duì)應(yīng)函數(shù)，從而模擬數(shù)據(jù)之間的真實(shí)關(guān)系，這是神經(jīng)網(wǎng)絡(luò)強(qiáng)大預(yù)測(cè)能力的根本。但兩層神經(jīng)網(wǎng)絡(luò)的計(jì)算量太大，當(dāng)時(shí)的計(jì)算機(jī)的計(jì)算能力完全跟不上，直到1986年，Rumelhar和Hinton等人提出了反向傳播（Backpropagation，BP）算法，解決了兩層神經(jīng)網(wǎng)絡(luò)所需要的復(fù)雜計(jì)算量問(wèn)題，帶動(dòng)了業(yè)界使用兩層神經(jīng)網(wǎng)絡(luò)研究的熱潮。

但好景不長(zhǎng)，算法的改進(jìn)僅使得神經(jīng)網(wǎng)絡(luò)風(fēng)光了幾年，然而計(jì)算能力不夠，局部最優(yōu)解，調(diào)參等一系列問(wèn)題一直困擾研究人員。90年代中期，由Vapnik等人發(fā)明的SVM（Support Vector Machines，支持向量機(jī)）算法誕生，很快就在若干個(gè)方面體現(xiàn)出了對(duì)比神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)：無(wú)需調(diào)參；高效；全局最優(yōu)解。

由于以上原因，SVM迅速打敗了神經(jīng)網(wǎng)絡(luò)算法成為主流。神經(jīng)網(wǎng)絡(luò)的研究再一次進(jìn)入低谷， AI Winter again 。

多層神經(jīng)網(wǎng)絡(luò)一般指兩層或兩層以上的神經(jīng)網(wǎng)絡(luò)（不包括輸入層），更多情況下指兩層以上的神經(jīng)網(wǎng)絡(luò)。

2006年，Hinton提出使用預(yù)訓(xùn)練 ”（pre-training）和“微調(diào)”(fine-tuning)技術(shù)能優(yōu)化神經(jīng)網(wǎng)絡(luò)訓(xùn)練，大幅度減少訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的時(shí)間

并且，他給多層神經(jīng)網(wǎng)絡(luò)相關(guān)的學(xué)習(xí)方法賦予了一個(gè)新名詞–“ 深度學(xué)習(xí) ”，以此為起點(diǎn)，“深度學(xué)習(xí)”紀(jì)元開(kāi)始了：）

“深度學(xué)習(xí)”一方面指神經(jīng)網(wǎng)絡(luò)的比較“深”，也就是層數(shù)較多；另一方面也可以指神經(jīng)網(wǎng)絡(luò)能學(xué)到很多深層次的東西。研究發(fā)現(xiàn)，在權(quán)重參數(shù)不變的情況下，增加神經(jīng)網(wǎng)絡(luò)的層數(shù)，能增強(qiáng)神經(jīng)網(wǎng)絡(luò)的表達(dá)能力。

但深度學(xué)習(xí)究竟有多強(qiáng)大呢？沒(méi)人知道。2012年，Hinton與他的學(xué)生在ImageNet競(jìng)賽中，用多層的卷積神經(jīng)網(wǎng)絡(luò)成功地對(duì)包含一千類別的一百萬(wàn)張圖片進(jìn)行了訓(xùn)練，取得了分類錯(cuò)誤率15%的好成績(jī)，這個(gè)成績(jī)比第二名高了近11個(gè)百分點(diǎn)，充分證明了多層神經(jīng)網(wǎng)絡(luò)識(shí)別效果的優(yōu)越性。

同時(shí)，科研人員發(fā)現(xiàn)GPU的大規(guī)模并行矩陣運(yùn)算模式完美地契合神經(jīng)網(wǎng)絡(luò)訓(xùn)練的需要，在同等情況下，GPU的速度要比CPU快50-200倍，這使得神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間大大減少，最終再一次掀起了神經(jīng)網(wǎng)絡(luò)研究的熱潮，并且一直持續(xù)到現(xiàn)在。

2016年基于深度學(xué)習(xí)的Alpha Go在圍棋比賽中以4:1的大比分優(yōu)勢(shì)戰(zhàn)勝了李世石，深度學(xué)習(xí)的威力再一次震驚了世界。

神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史曲折蕩漾，既有被捧上神壇的高潮，也有無(wú)人問(wèn)津的低谷，中間經(jīng)歷了數(shù)次大起大落，我們姑且稱之為“三起三落”吧，其背后則是算法的改進(jìn)和計(jì)算能力的持續(xù)發(fā)展。

下圖展示了神經(jīng)網(wǎng)絡(luò)自發(fā)明以來(lái)的發(fā)展情況及一些重大時(shí)間節(jié)點(diǎn)。

當(dāng)然，對(duì)于神經(jīng)網(wǎng)絡(luò)我們也要保持清醒的頭腦。由上圖，每次神經(jīng)網(wǎng)絡(luò)研究的興盛期持續(xù)10年左右，從最近2012年算起，或許10年后的2022年，神經(jīng)網(wǎng)絡(luò)的發(fā)展將再次遇到瓶頸。

神經(jīng)網(wǎng)絡(luò)作為機(jī)器學(xué)習(xí)的一種，其模型訓(xùn)練的目的，就是使得參數(shù)盡可能的與真實(shí)的模型逼近。理論證明，兩層及以上的神經(jīng)網(wǎng)絡(luò)可以無(wú)限逼近真實(shí)的映射函數(shù)。因此，給定足夠的訓(xùn)練數(shù)據(jù)和訓(xùn)練時(shí)間，總能通過(guò)神經(jīng)網(wǎng)絡(luò)找到無(wú)限逼近真實(shí)關(guān)系的模型。

具體做法：首先給所有權(quán)重參數(shù)賦上隨機(jī)值，然后使用這些隨機(jī)生成的參數(shù)值，來(lái)預(yù)測(cè)訓(xùn)練數(shù)據(jù)中的樣本。假設(shè)樣本的預(yù)測(cè)目標(biāo)為yp ，真實(shí)目標(biāo)為y，定義值loss，計(jì)算公式如下：

loss = (yp -y) ^2

這個(gè)值稱之為損失（loss），我們的目標(biāo)就是使對(duì)所有訓(xùn)練數(shù)據(jù)的損失和盡可能的小，這就轉(zhuǎn)化為求loss函數(shù)極值的問(wèn)題。

一個(gè)常用方法是高等數(shù)學(xué)中的求導(dǎo)，但由于參數(shù)不止一個(gè)，求導(dǎo)后計(jì)算導(dǎo)數(shù)等于0的運(yùn)算量很大，所以常用梯度下降算法來(lái)解決這樣的優(yōu)化問(wèn)題。梯度是一個(gè)向量，由函數(shù)的各自變量的偏導(dǎo)數(shù)組成。

比如對(duì)二元函數(shù) f =(x,y)，則梯度∇f=(∂f/∂x,∂f/∂y)。梯度的方向是函數(shù)值上升最快的方向。梯度下降算法每次計(jì)算參數(shù)在當(dāng)前的梯度，然后讓參數(shù)向著梯度的反方向前進(jìn)一段距離，不斷重復(fù)，直到梯度接近零時(shí)截止。一般這個(gè)時(shí)候，所有的參數(shù)恰好達(dá)到使損失函數(shù)達(dá)到一個(gè)最低值的狀態(tài)。下圖為梯度下降的大致運(yùn)行過(guò)程：

在神經(jīng)網(wǎng)絡(luò)模型中，由于結(jié)構(gòu)復(fù)雜，每次計(jì)算梯度的代價(jià)很大。因此還需要使用反向傳播（Back Propagation）算法。反向傳播算法利用了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行計(jì)算，不一次計(jì)算所有參數(shù)的梯度，而是從后往前。首先計(jì)算輸出層的梯度，然后是第二個(gè)參數(shù)矩陣的梯度，接著是中間層的梯度，再然后是第一個(gè)參數(shù)矩陣的梯度，最后是輸入層的梯度。計(jì)算結(jié)束以后，所要的兩個(gè)參數(shù)矩陣的梯度就都有了。當(dāng)然，梯度下降只是其中一個(gè)優(yōu)化算法，其他的還有牛頓法、RMSprop等。

確定loss函數(shù)的最小值后，我們就確定了整個(gè)神經(jīng)網(wǎng)絡(luò)的權(quán)重，完成神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

在神經(jīng)網(wǎng)絡(luò)中一樣的參數(shù)數(shù)量，可以用更深的層次去表達(dá)。

由上圖，不算上偏置參數(shù)的話，共有三層神經(jīng)元，33個(gè)權(quán)重參數(shù)。

由下圖，保持權(quán)重參數(shù)不變，但增加了兩層神經(jīng)元。

在多層神經(jīng)網(wǎng)絡(luò)中，每一層的輸入是前一層的輸出，相當(dāng)于在前一層的基礎(chǔ)上學(xué)習(xí)，更深層次的神經(jīng)網(wǎng)絡(luò)意味著更深入的表示特征，以及更強(qiáng)的函數(shù)模擬能力。更深入的表示特征可以這樣理解，隨著網(wǎng)絡(luò)的層數(shù)增加，每一層對(duì)于前一層次的抽象表示更深入。

如上圖，第一個(gè)隱藏層學(xué)習(xí)到“邊緣”的特征，第二個(gè)隱藏層學(xué)習(xí)到“邊緣”組成的“形狀”的特征，第三個(gè)隱藏層學(xué)習(xí)到由“形狀”組成的“圖案”的特征，最后的隱藏層學(xué)習(xí)到由“圖案”組成的“目標(biāo)”的特征。通過(guò)抽取更抽象的特征來(lái)對(duì)事物進(jìn)行區(qū)分，從而獲得更好的區(qū)分與分類能力。

前面提到，明斯基認(rèn)為Rosenblatt提出的感知器模型不能處理最簡(jiǎn)單的“異或”（XOR）非線性問(wèn)題，所以神經(jīng)網(wǎng)絡(luò)的研究沒(méi)有前途，但當(dāng)增加一層神經(jīng)元后，異或問(wèn)題得到了很好地解決，原因何在？原來(lái)從輸入層到隱藏層，數(shù)據(jù)發(fā)生了空間變換，坐標(biāo)系發(fā)生了改變，因?yàn)榫仃囘\(yùn)算本質(zhì)上就是一種空間變換。

如下圖，紅色和藍(lán)色的分界線是最終的分類結(jié)果，可以看到，該分界線是一條非常平滑的曲線。

但是，改變坐標(biāo)系后，分界線卻表現(xiàn)為直線，如下圖：

同時(shí)，非線性激勵(lì)函數(shù)的引入使得神經(jīng)網(wǎng)絡(luò)對(duì)非線性問(wèn)題的表達(dá)能力大大加強(qiáng)。

對(duì)于傳統(tǒng)的樸素貝葉斯、決策樹(shù)、支持向量機(jī)SVM等分類器，提取特征是一個(gè)非常重要的前置工作。在正式訓(xùn)練之前，需要花費(fèi)大量的時(shí)間在數(shù)據(jù)的清洗上，這樣分類器才能清楚地知道數(shù)據(jù)的維度，要不然基于概率和空間距離的線性分類器是沒(méi)辦法進(jìn)行工作的。然而在神經(jīng)網(wǎng)絡(luò)中，由于巨量的線性分類器的堆疊（并行和串行）以及卷積神經(jīng)網(wǎng)絡(luò)的使用，它對(duì)噪聲的忍耐能力、對(duì)多通道數(shù)據(jù)上投射出來(lái)的不同特征偏向的敏感程度會(huì)自動(dòng)重視或忽略，這樣我們?cè)谔幚淼臅r(shí)候，就不需要使用太多的技巧用于數(shù)據(jù)的清洗了。有趣的是，業(yè)內(nèi)大佬常感嘆，“你可能知道SVM等機(jī)器學(xué)習(xí)的所有細(xì)節(jié)，但是效果并不好，而神經(jīng)網(wǎng)絡(luò)更像是一個(gè)黑盒，很難知道它究竟在做什么，但工作效果卻很好”。

人類對(duì)機(jī)器學(xué)習(xí)的環(huán)節(jié)干預(yù)越少，就意味著距離人工智能的方向越近。神經(jīng)網(wǎng)絡(luò)的這個(gè)特性非常有吸引力。

1) 谷歌的TensorFlow開(kāi)發(fā)了一個(gè)非常有意思的神經(jīng)網(wǎng)絡(luò) 入門教程，用戶可以非常方便地在網(wǎng)頁(yè)上更改神經(jīng)網(wǎng)絡(luò)的參數(shù)，并且能看到實(shí)時(shí)的學(xué)習(xí)效率和結(jié)果，非常適合初學(xué)者掌握神經(jīng)網(wǎng)絡(luò)的基本概念及神經(jīng)網(wǎng)絡(luò)的原理。網(wǎng)頁(yè)截圖如下：

2) 深度學(xué)習(xí)領(lǐng)域大佬吳恩達(dá)不久前發(fā)布的《神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí) 》MOOC，現(xiàn)在可以在網(wǎng)易云課堂上免費(fèi)觀看了，并且還有中文字幕。

3) 《神經(jīng)網(wǎng)絡(luò)于深度學(xué)習(xí)》（Michael Nielsen著）、《白話深度學(xué)習(xí)與TensorFlow》也是不錯(cuò)的入門書(shū)籍。

四、神經(jīng)網(wǎng)絡(luò)原理怎么樣

神經(jīng)網(wǎng)絡(luò)不僅是現(xiàn)在的思維模式，計(jì)算機(jī)的將來(lái)計(jì)算模式，還是簡(jiǎn)單的細(xì)胞的運(yùn)算模式。他們沒(méi)有真正的思考，而是計(jì)算。計(jì)算是機(jī)器也能夠做到的，因此不管人是否理解或者機(jī)器是否知道，都可以從容應(yīng)對(duì)。而不知道的事物如此之多，因此不必?fù)?dān)心他們會(huì)自動(dòng)的進(jìn)入圈套。他們不僅是可以識(shí)別計(jì)策的，還是具有分辨計(jì)策的能力的，因此必須留心別進(jìn)入他們的世界，以免變得面目全非。神經(jīng)的聯(lián)系來(lái)源于突觸，但是這是復(fù)雜的，因此不要把他們變的簡(jiǎn)單化，因?yàn)檫@將把神經(jīng)變的難以顯現(xiàn)。沒(méi)有這些就沒(méi)有自己。神經(jīng)不僅是可以從一點(diǎn)出發(fā)，到達(dá)任何一點(diǎn)的，還是可以從一個(gè)神經(jīng)進(jìn)入另一個(gè)神經(jīng)的，因此必須小心不要到達(dá)不可及之地。那里是隱私的儲(chǔ)藏地點(diǎn)。那里充滿著機(jī)關(guān)算計(jì)以及絕殺的危險(xiǎn)之地。

以上就是關(guān)于神經(jīng)網(wǎng)絡(luò)的方法原理相關(guān)問(wèn)題的回答。希望能幫到你，如有更多相關(guān)問(wèn)題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。