正文

線性神經(jīng)網(wǎng)絡(luò)（線性神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法）

發(fā)布時間：2023-04-13 11:38:27 稿源：創(chuàng)意嶺閱讀： 70

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于線性神經(jīng)網(wǎng)絡(luò)的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準，寫出的就越詳細，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、神經(jīng)網(wǎng)絡(luò)里的線性層競爭層有啥區(qū)別？
2、(七)神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)
3、第五章神經(jīng)網(wǎng)絡(luò)
4、神經(jīng)網(wǎng)絡(luò)輸出層采用非線性函數(shù)和線性函數(shù)，有區(qū)別嘛？

線性神經(jīng)網(wǎng)絡(luò)（線性神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法）

一、神經(jīng)網(wǎng)絡(luò)里的線性層競爭層有啥區(qū)別？

神經(jīng)網(wǎng)絡(luò)有很多種。有BP，SOM，ART1,ART2等等。有有師教導(dǎo)如BP，有無師教導(dǎo)如SOM,ART1，ART2。你說的競爭層屬于無師教導(dǎo)?；旧鲜墙?jīng)過向量的運算后取歐氏距離然后處理，一個是線性的一個是平面的。你要具體了解可以買相關(guān)書籍里面會有詳細的介紹，具體參看SOM模型和ART1型網(wǎng)。

二、(七)神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

目前為止，我們已經(jīng)學(xué)習(xí)了2個機器學(xué)習(xí)模型。線性回歸一般用來處理線性問題，邏輯回歸用來處理2分類問題。雖然邏輯回歸也可以處理非線性的分類問題，但是當(dāng)我們有非常多的特征時，例如大于100個變量，將會有數(shù)量非常驚人的特征組合。這對于一般的邏輯回歸來說需要計算的特征太多了，負荷太大。而神經(jīng)網(wǎng)絡(luò)既可以解決復(fù)雜的非線性分類問題，又可以避免龐大的計算量。

人工神經(jīng)網(wǎng)絡(luò)是由很多神經(jīng)元（激活單元）構(gòu)成的，神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本元素。

實際上，可以這樣理解神經(jīng)元工作過程，當(dāng)將輸入送進神經(jīng)元后，神經(jīng)元將輸入與權(quán)值線性組合（實際上就是θ ^T X）輸出一個線性表達式，再將這個表達式送入激活函數(shù)中，便得到了神經(jīng)元的真實輸出。

神經(jīng)網(wǎng)絡(luò)由好多個激活單元構(gòu)成，如下圖所示：

激活函數(shù)的選擇是構(gòu)建神經(jīng)網(wǎng)絡(luò)過程中的重要環(huán)節(jié)，下面簡要介紹常用的激活函數(shù)。

(1) 線性函數(shù)( Liner Function )

(2) 斜面函數(shù)( Ramp Function )**

(3) 閾值函數(shù)( Threshold Function )**

以上3個激活函數(shù)都屬于線性函數(shù)，下面介紹兩個常用的非線性激活函數(shù)。

(4) S形函數(shù)( Sigmoid Function )

S形函數(shù)與雙極S形函數(shù)的圖像如下：

雙極S形函數(shù)與S形函數(shù)主要區(qū)別在于函數(shù)的值域，雙極S形函數(shù)值域是(-1,1)，而S形函數(shù)值域是(0,1)。由于S形函數(shù)與雙極S形函數(shù)都是 可導(dǎo)的 (導(dǎo)函數(shù)是連續(xù)函數(shù))，因此適合用在BP神經(jīng)網(wǎng)絡(luò)中。（BP算法要求激活函數(shù)可導(dǎo)）

人工神經(jīng)網(wǎng)絡(luò)中，最常用的激活函數(shù)就是sigmoid函數(shù)

神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元互聯(lián)而構(gòu)成的網(wǎng)絡(luò)。根據(jù)網(wǎng)絡(luò)中神經(jīng)元的互聯(lián)方式，常見網(wǎng)絡(luò)結(jié)構(gòu)主要可以分為下面3類：

前饋網(wǎng)絡(luò)也稱前向網(wǎng)絡(luò)，是最常見的神經(jīng)網(wǎng)絡(luò)，前文提到的都是前饋網(wǎng)絡(luò)。稱之為前饋是因為它在輸出和模型本身之間沒有反饋，數(shù)據(jù)只能向前傳送，直到到達輸出層，層間沒有向后的反饋信號。

反饋型神經(jīng)網(wǎng)絡(luò)是一種從輸出到輸入具有反饋連接的神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)比前饋網(wǎng)絡(luò)要復(fù)雜得多。

自組織神經(jīng)網(wǎng)絡(luò)是一種無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)。它通過自動尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織、自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)。

三、第五章神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò) ：神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應(yīng)。

神經(jīng)網(wǎng)絡(luò)中最基本的成分便是 神經(jīng)元模型 。

M-P神經(jīng)元模型：

感知機由兩層神經(jīng)元組成，分別為輸入層、輸出層。

以下是具體過程：

多層神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)如圖：

如上圖可知，多層網(wǎng)絡(luò)由輸入層、隱含層和輸出層組成，頂層是輸出層，底層是輸入層，中間的便是隱含層。隱含層與輸出層都具有功能神經(jīng)元。

多層前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)需要滿足：

1、每層神經(jīng)元必須與下一層完全互連

2、神經(jīng)元之間不存在同層連接

3、神經(jīng)元不可跨層連接

只需包含一個足夠多神經(jīng)元的隱層，就能以任意精度逼近任意復(fù)雜度的連續(xù)函數(shù)

BP神經(jīng)網(wǎng)絡(luò)由于學(xué)習(xí)能力太強大比較榮譽造成過擬合問題，故有兩種策略來減緩過擬合的問題：

1、早停：將數(shù)據(jù)分成訓(xùn)練集和驗證集，訓(xùn)練集學(xué)習(xí)，驗證集評估性能，在訓(xùn)練過程中，若訓(xùn)練集的累積誤差降低，而驗證集的累積誤差提高，則終止訓(xùn)練；

2、引入正則化：其基本思想是在誤差目標(biāo)函數(shù)中增加一個用于描述網(wǎng)絡(luò)復(fù)雜程度的部分，有如連接權(quán)和閾值的平方和：

其中λ∈（0,1）用于對累積經(jīng)驗誤差與網(wǎng)絡(luò)復(fù)雜度這兩項進行折中，常通過交叉驗證法來估計。

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程可看作一個參數(shù)尋優(yōu)的過程，即尋找到適當(dāng)?shù)膮?shù)使得E最小。于是我們時常會談及“全局最小”和“局部最小”。

1、全局最?。杭慈肿钚〗猓趨?shù)空間中，所有其他點的誤差函數(shù)值均大于該點；

2、局部最?。杭淳植孔钚〗?，在參數(shù)空間中，其鄰近的點的誤差函數(shù)值均大于該點。

我們要達到局部極小點，很容易，只要滿足梯度為零的點便是了，局部極小點可以有多個，但全局最小點只有一個。顯然，我們追求的是全局最小，而非局部極小，于是人們通常采用以下策略來試圖“跳出”局部極小，使其接近全局最小：

1、以多組不同參數(shù)值初始化多個神經(jīng)網(wǎng)絡(luò)，按標(biāo)準方法訓(xùn)練，在迭代停止后，取其中誤差最小的解作為最終參數(shù)；

2、使用隨機梯度下降（在計算梯度時加入了隨機因素），使得在局部最小時，計算的梯度仍可能不為0，從而可能跳出局部極小，繼續(xù)進行迭代；

3、“模擬退火”技術(shù)，在每一步都以一定的概率接受比當(dāng)前解更差的結(jié)果，但接受“次優(yōu)解”的概率要隨著迭代進行，時間推移而逐漸減低以確保算法的穩(wěn)定。

1、RBF網(wǎng)絡(luò)

單隱層前饋神經(jīng)網(wǎng)絡(luò) ，使用徑向基函數(shù)作為隱層神經(jīng)元激活函數(shù)，輸出層是對隱層神經(jīng)元輸出的線性組合。RBF網(wǎng)絡(luò)可表示為：

2、ART網(wǎng)絡(luò)

競爭型學(xué)習(xí) （神經(jīng)網(wǎng)絡(luò)中一種常用的 無監(jiān)督學(xué)習(xí) 策略）,由 比較層、識別層、識別閾值和重置模塊 組成。接收到比較層的輸入信號后，識別層神經(jīng)元相互競爭以產(chǎn)生獲勝神經(jīng)元，最簡單的方式就是計算輸入向量與每個識別層神經(jīng)元所對應(yīng)的模式類代表向量間的距離，距離小者獲勝。若獲勝神經(jīng)元對應(yīng)的代表向量與輸入向量間 相似度大于識別閾值 ，則將輸入樣本歸為該代表向量所屬類別，網(wǎng)絡(luò) 連接權(quán) 也會進行更新以保證后面接收到相似的輸入樣本時該模式類會計算出更大的相似度，使得這樣的樣本能夠歸于一類；如果 相似度不大于識別閾值 ，則 重置模塊 會在 識別層 加一個神經(jīng)元，其 代表向量 就 設(shè)置 為當(dāng)前 輸入向量 。

3、SOM網(wǎng)絡(luò)

競爭型學(xué)習(xí)的無監(jiān)督神經(jīng)網(wǎng)絡(luò) ，將高維輸入數(shù)據(jù)映射到低維空間（通常是二維），且保持輸入數(shù)據(jù)在高維空間的拓撲結(jié)構(gòu)。

4、級聯(lián)相關(guān)網(wǎng)絡(luò)

結(jié)構(gòu)自適應(yīng)網(wǎng)絡(luò) 。

5、Elman網(wǎng)絡(luò)

遞歸神經(jīng)網(wǎng)絡(luò) 。

6、Boltzmann機

基于能量的模型，其神經(jīng)元分為顯層與隱層，顯層用于數(shù)據(jù)輸入輸出，隱層被理解為數(shù)據(jù)的內(nèi)在表達。其神經(jīng)元皆為布爾型，1為激活，0為抑制。

理論上，參數(shù)越多的模型其復(fù)雜程度越高，能完成更加復(fù)雜的學(xué)習(xí)任務(wù)。但是復(fù)雜模型的訓(xùn)練效率低下，容易過擬合。但由于大數(shù)據(jù)時代、云計算，計算能力大幅提升緩解了訓(xùn)練效率低下，而訓(xùn)練數(shù)據(jù)的增加則可以降低過擬合風(fēng)險。

于是如何增加模型的復(fù)雜程度呢？

1、增加隱層數(shù)；

2、增加隱層神經(jīng)元數(shù).

如何有效訓(xùn)練多隱層神經(jīng)網(wǎng)絡(luò)？

1、無監(jiān)督逐層訓(xùn)練：每次訓(xùn)練一層隱節(jié)點，把上一層隱節(jié)點的輸出當(dāng)作輸入來訓(xùn)練，本層隱結(jié)點訓(xùn)練好后，輸出再作為下一層的輸入來訓(xùn)練，這稱為預(yù)訓(xùn)練，全部預(yù)訓(xùn)練完成后，再對整個網(wǎng)絡(luò)進行微調(diào)?！邦A(yù)訓(xùn)練+微調(diào)”即把大量的參數(shù)進行分組，先找出每組較好的設(shè)置，再基于這些局部最優(yōu)的結(jié)果來訓(xùn)練全局最優(yōu)；

2、權(quán)共享：令同一層神經(jīng)元使用完全相同的連接權(quán)，典型的例子是卷積神經(jīng)網(wǎng)絡(luò)。這樣做可以大大減少需要訓(xùn)練的參數(shù)數(shù)目。

深度學(xué)習(xí) 可理解為一種特征學(xué)習(xí)或者表示學(xué)習(xí)，是通過 多層處理 ，逐漸將初始的 低層特征表示 轉(zhuǎn)化為 高層特征表示 后，用 簡單模型 即可完成復(fù)雜的分類等 學(xué)習(xí)任務(wù) 。

四、神經(jīng)網(wǎng)絡(luò)輸出層采用非線性函數(shù)和線性函數(shù)，有區(qū)別嘛？

神經(jīng)網(wǎng)絡(luò)輸出層采用非線性函數(shù)和線性函數(shù)是有區(qū)別的。對于非線性問題應(yīng)用非線性函數(shù)來處理，而對于線性問題應(yīng)用線性函數(shù)處理，也可以用非線性函數(shù)處理。

以上就是關(guān)于線性神經(jīng)網(wǎng)絡(luò)相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進行咨詢，客服也會為您講解更多精彩的知識和內(nèi)容。