反向傳播神經(jīng)網(wǎng)絡(luò)基本原理（反向傳播神經(jīng)網(wǎng)絡(luò)基本原理）

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于反向傳播神經(jīng)網(wǎng)絡(luò)基本原理的問題，以下是小編對(duì)此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

• 1、BP神經(jīng)網(wǎng)絡(luò)的梳理

• 2、神經(jīng)網(wǎng)絡(luò)算法原理

• 3、解讀反向傳播算法（BackPropagation）

• 4、神經(jīng)網(wǎng)絡(luò)算法原理

一、BP神經(jīng)網(wǎng)絡(luò)的梳理

BP神經(jīng)網(wǎng)絡(luò)被稱為“深度學(xué)習(xí)之旅的開端”，是神經(jīng)網(wǎng)絡(luò)的入門算法。

各種高大上的神經(jīng)網(wǎng)絡(luò)都是基于BP網(wǎng)絡(luò)出發(fā)的，最基礎(chǔ)的原理都是由BP網(wǎng)絡(luò)而來 [1] ，另外由于BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，算法經(jīng)典， 是神經(jīng)網(wǎng)絡(luò)中應(yīng)用最廣泛的一種。

BP神經(jīng)網(wǎng)絡(luò)（back propagation neural network）全稱是反向傳播神經(jīng)網(wǎng)絡(luò)。

神經(jīng)網(wǎng)絡(luò)發(fā)展部分背景如下 [2] ：

為解決非線性問題，BP神經(jīng)網(wǎng)絡(luò)應(yīng)運(yùn)而生。

那么什么是BP神經(jīng)網(wǎng)絡(luò)？稍微專業(yè)點(diǎn)的解釋要怎么說呢？

很喜歡 最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)--Bp神經(jīng)網(wǎng)絡(luò) 一文對(duì)算法原理的解釋，語言活潑，案例簡(jiǎn)單，由淺入深。

文中提到所謂的 AI 技術(shù)，本質(zhì)上是一種數(shù)據(jù)處理處理技術(shù)，它的強(qiáng)大來自于兩方面：1.互聯(lián)網(wǎng)的發(fā)展帶來的海量數(shù)據(jù)信息；2.計(jì)算機(jī)深度學(xué)習(xí)算法的快速發(fā)展。AI 其實(shí)并沒有什么神秘，只是在算法上更為復(fù)雜 [3] 。

我們從上面的定義出發(fā)來解釋BP神經(jīng)網(wǎng)絡(luò)的原理。

BP神經(jīng)網(wǎng)絡(luò)整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)包含了：一層輸入層，一到多層隱藏層，一層輸出層。

一般說L層神經(jīng)網(wǎng)絡(luò)，指的是有L個(gè)隱層，輸入層和輸出層都不計(jì)算在內(nèi)的 [6] 。

BP神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的學(xué)習(xí)過程由信號(hào)的 正向傳播 和誤差的 反向傳播 兩個(gè)過程組成。

什么是信號(hào)的正向傳播？顧名思義，就是結(jié)構(gòu)圖從左到右的運(yùn)算過程。

我們來看看結(jié)構(gòu)圖中每個(gè)小圓圈是怎么運(yùn)作的。我們把小圈圈叫做神經(jīng)元，是組成神經(jīng)網(wǎng)絡(luò)的基本單元。

正向傳播就是輸入數(shù)據(jù)經(jīng)過一層一層的神經(jīng)元運(yùn)算、輸出的過程，最后一層輸出值作為算法預(yù)測(cè)值y'。

前面正向傳播的時(shí)候我們提到權(quán)重w、偏置b，但我們并不知道權(quán)重w、偏置b的值應(yīng)該是什么。關(guān)于最優(yōu)參數(shù)的求解，我們?cè)?線性回歸 、 邏輯回歸 兩章中有了詳細(xì)說明。大致來講就是：

BP神經(jīng)網(wǎng)絡(luò)全稱 back propagation neural network，back propagation反向傳播是什么？

反向傳播的建設(shè)本質(zhì)上就是尋找最優(yōu)的參數(shù)組合，和上面的流程差不多，根據(jù)算法預(yù)測(cè)值和實(shí)際值之間的損失函數(shù)L(y',y)，來反方向地計(jì)算每一層的z、a、w、b的偏導(dǎo)數(shù)，從而更新參數(shù)。

對(duì)反向傳播而言，輸入的內(nèi)容是預(yù)測(cè)值和實(shí)際值的誤差，輸出的內(nèi)容是對(duì)參數(shù)的更新，方向是從右往左，一層一層的更新每一層的參數(shù)。

BP神經(jīng)網(wǎng)絡(luò)通過先正向傳播，構(gòu)建參數(shù)和輸入值的關(guān)系，通過預(yù)測(cè)值和實(shí)際值的誤差，反向傳播修復(fù)權(quán)重；讀入新數(shù)據(jù)再正向傳播預(yù)測(cè)，再反向傳播修正，...，通過多次循環(huán)達(dá)到最小損失值，此時(shí)構(gòu)造的模型擁有最優(yōu)的參數(shù)組合。

以一個(gè)簡(jiǎn)單的BP神經(jīng)網(wǎng)絡(luò)為例，由3個(gè)輸入層，2層隱藏層，每層2個(gè)神經(jīng)元，1個(gè)輸出層組成。

【輸入層】傳入

【第一層隱藏層】

對(duì)于 神經(jīng)元而言，傳入 ，加權(quán)求和加偏置激活函數(shù)處理后，輸出 ；

對(duì)于 神經(jīng)元而言，傳入 ，加權(quán)求和加偏置函數(shù)處理后，輸出 ；

輸出：

【第二層隱藏層】

對(duì)于 神經(jīng)元而言，傳入 ，加權(quán)求和加偏置激活函數(shù)處理后，輸出 ；

對(duì)于 神經(jīng)元而言，傳入 ，加權(quán)求和加偏置激活函數(shù)處理后，輸出 ；

輸出：

【輸出層】

對(duì)于輸出層神經(jīng)元而言，輸入 ，加權(quán)求和加偏置激活函數(shù)處理后，輸出 ，輸出的是一個(gè)值

第一次運(yùn)行正向傳播這個(gè)流程時(shí)隨用隨機(jī)參數(shù)就好，通過反向傳播不斷優(yōu)化。因此需要在一開始對(duì) 設(shè)置一個(gè)隨機(jī)的初始值。

首先計(jì)算正向傳播輸出值 與實(shí)際值的損失 ，是一個(gè)數(shù)值。所謂反向是從右到左一步步來的，先回到 ，修正參數(shù) 。

以此類推，通過對(duì)損失函數(shù)求偏導(dǎo)跟新參數(shù) ，再跟新參數(shù) 。這時(shí)又回到了起點(diǎn)，新的數(shù)據(jù)傳入又可以開始正向傳播了。

keras可以快速搭建神經(jīng)網(wǎng)絡(luò)，例如以下為輸入層包含7129個(gè)結(jié)點(diǎn)，一層隱藏層，包含128個(gè)結(jié)點(diǎn)，一個(gè)輸出層，是二分類模型。

神經(jīng)網(wǎng)絡(luò)反向傳播的優(yōu)化目標(biāo)為loss，可以觀察到loss的值在不斷的優(yōu)化。

可以通過model.get_layer().get_weights()獲得每一層訓(xùn)練后的參數(shù)結(jié)果。通過model.predict()預(yù)測(cè)新數(shù)據(jù)。

至此，BP神經(jīng)網(wǎng)絡(luò)的整個(gè)運(yùn)算流程已經(jīng)過了一遍。之前提到BP神經(jīng)網(wǎng)絡(luò)是為解決非線性問題應(yīng)運(yùn)而生的，那么為什么BP神經(jīng)網(wǎng)絡(luò)可以解決非線性問題呢？

還記得神經(jīng)元里有一個(gè)激活函數(shù)的操作嗎？神經(jīng)網(wǎng)絡(luò)通過激活函數(shù)的使用加入非線性因素。

通過使用非線性的激活函數(shù)可以使神經(jīng)網(wǎng)絡(luò)隨意逼近復(fù)雜函數(shù)，從而使BP神經(jīng)網(wǎng)絡(luò)既可以處理線性問題，也可以處理非線性問題。

為什么激活函數(shù)的使用可以加入非線性因素 [7] ？

其實(shí)邏輯回歸算法可以看作只有一個(gè)神經(jīng)元的單層神經(jīng)網(wǎng)絡(luò)，只對(duì)線性可分的數(shù)據(jù)進(jìn)行分類。

輸入?yún)?shù)，加權(quán)求和，sigmoid作為激活函數(shù)計(jì)算后輸出結(jié)果，模型預(yù)測(cè)值和實(shí)際值計(jì)算損失Loss,反向傳播梯度下降求編導(dǎo)，獲得最優(yōu)參數(shù)。

BP神經(jīng)網(wǎng)絡(luò)是比 Logistic Regression 復(fù)雜得多的模型，它的擬合能力很強(qiáng)，可以處理很多 Logistic Regression處理不了的數(shù)據(jù)，但是也更容易過擬合。

具體用什么算法還是要看訓(xùn)練數(shù)據(jù)的情況，沒有一種算法是使用所有情況的。

常見的前饋神經(jīng)網(wǎng)絡(luò)有BP網(wǎng)絡(luò)，RBF網(wǎng)絡(luò)等。

BP神經(jīng)網(wǎng)絡(luò)的一個(gè)主要問題是：結(jié)構(gòu)不好設(shè)計(jì)。

網(wǎng)絡(luò)隱含層的層數(shù)和單元數(shù)的選擇尚無理論上的指導(dǎo)，一般是根據(jù)經(jīng)驗(yàn)或者通過反復(fù)實(shí)驗(yàn)確定。

但是BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)單、易行、計(jì)算量小、并行性強(qiáng)，目前仍是多層前向網(wǎng)絡(luò)的首選算法。

[1] 深度學(xué)習(xí)開端---BP神經(jīng)網(wǎng)絡(luò)： https://blog.csdn.net/Chile_Wang/article/details/100557010

[2] BP神經(jīng)網(wǎng)絡(luò)發(fā)展歷史： https://zhuanlan.zhihu.com/p/47998728

[3] 最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)--Bp神經(jīng)網(wǎng)絡(luò)： https://blog.csdn.net/weixin_40432828/article/details/82192709

[4] 神經(jīng)網(wǎng)絡(luò)的基本概念： https://blog.csdn.net/jinyuan7708/article/details/82466653

[5] 神經(jīng)網(wǎng)絡(luò)中的 “隱藏層” 理解： https://blog.csdn.net/nanhuaibeian/article/details/100183000

[6] AI學(xué)習(xí)筆記：神經(jīng)元與神經(jīng)網(wǎng)絡(luò)： https://www.jianshu.com/p/65eb2fce0e9e

[7] 線性模型和非線性模型的區(qū)別： https://www.cnblogs.com/toone/p/8574294.html

[8] BP神經(jīng)網(wǎng)絡(luò)是否優(yōu)于logistic回歸： https://www.zhihu.com/question/27823925/answer/38460833

二、神經(jīng)網(wǎng)絡(luò)算法原理

一共有四種算法及原理，如下所示：

1、自適應(yīng)諧振理論（ART）網(wǎng)絡(luò)

自適應(yīng)諧振理論（ART）網(wǎng)絡(luò)具有不同的方案。一個(gè)ART-1網(wǎng)絡(luò)含有兩層一個(gè)輸入層和一個(gè)輸出層。這兩層完全互連，該連接沿著正向（自底向上）和反饋（自頂向下）兩個(gè)方向進(jìn)行。

2、學(xué)習(xí)矢量量化（LVQ）網(wǎng)絡(luò)

學(xué)習(xí)矢量量化（LVQ）網(wǎng)絡(luò)，它由三層神經(jīng)元組成，即輸入轉(zhuǎn)換層、隱含層和輸出層。該網(wǎng)絡(luò)在輸入層與隱含層之間為完全連接，而在隱含層與輸出層之間為部分連接，每個(gè)輸出神經(jīng)元與隱含神經(jīng)元的不同組相連接。

3、Kohonen網(wǎng)絡(luò)

Kohonen網(wǎng)絡(luò)或自組織特征映射網(wǎng)絡(luò)含有兩層，一個(gè)輸入緩沖層用于接收輸入模式，另一個(gè)為輸出層，輸出層的神經(jīng)元一般按正則二維陣列排列，每個(gè)輸出神經(jīng)元連接至所有輸入神經(jīng)元。連接權(quán)值形成與已知輸出神經(jīng)元相連的參考矢量的分量。

4、Hopfield網(wǎng)絡(luò)

Hopfield網(wǎng)絡(luò)是一種典型的遞歸網(wǎng)絡(luò)，這種網(wǎng)絡(luò)通常只接受二進(jìn)制輸入（0或1）以及雙極輸入（+1或-1）。它含有一個(gè)單層神經(jīng)元，每個(gè)神經(jīng)元與所有其他神經(jīng)元連接，形成遞歸結(jié)構(gòu)。

擴(kuò)展資料：

人工神經(jīng)網(wǎng)絡(luò)算法的歷史背景：

該算法系統(tǒng)是 20 世紀(jì) 40 年代后出現(xiàn)的。它是由眾多的神經(jīng)元可調(diào)的連接權(quán)值連接而成，具有大規(guī)模并行處理、分布式信息存儲(chǔ)、良好的自組織自學(xué)習(xí)能力等特點(diǎn)。

BP算法又稱為誤差反向傳播算法，是人工神經(jīng)網(wǎng)絡(luò)中的一種監(jiān)督式的學(xué)習(xí)算法。BP 神經(jīng)網(wǎng)絡(luò)算法在理論上可以逼近任意函數(shù)，基本的結(jié)構(gòu)由非線性變化單元組成，具有很強(qiáng)的非線性映射能力。

而且網(wǎng)絡(luò)的中間層數(shù)、各層的處理單元數(shù)及網(wǎng)絡(luò)的學(xué)習(xí)系數(shù)等參數(shù)可根據(jù)具體情況設(shè)定，靈活性很大，在優(yōu)化、信號(hào)處理與模式識(shí)別、智能控制、故障診斷等許 多領(lǐng)域都有著廣泛的應(yīng)用前景。

參考資料來源：百度百科——神經(jīng)網(wǎng)絡(luò)算法

三、解讀反向傳播算法（BackPropagation）

冒泡~周末愉快鴨！

舉個(gè)例子：

如下圖所示，這是 帶有一個(gè)隱層的三層神經(jīng)網(wǎng)絡(luò) ，

-小女孩→隱藏層節(jié)點(diǎn)

-小黃帽→輸出層節(jié)點(diǎn)

-哆啦A夢(mèng)→誤差

小女孩左側(cè)接受輸入信號(hào)，經(jīng)過隱層節(jié)點(diǎn)產(chǎn)生輸出結(jié)果，哆啦A夢(mèng)則指導(dǎo)參數(shù)往更優(yōu)的方向調(diào)整。 由于哆啦A夢(mèng)可以直接將誤差反饋給小黃帽，所以與小黃帽直接相連的左側(cè)參數(shù)矩陣可以直接通過誤差進(jìn)行參數(shù)優(yōu)化（實(shí)縱線）；而與小女孩直接相連的左側(cè)參數(shù)矩陣由于不能得到哆啦A夢(mèng)的直接反饋而不能直接被優(yōu)化（虛棕線）。但由于反向傳播算法使得哆啦A夢(mèng)的反饋可以被傳遞到小女孩那進(jìn)而產(chǎn)生間接誤差，所以與小女孩直接相連的左側(cè)權(quán)重矩陣可以通過間接誤差得到權(quán)重更新，迭代幾輪，誤差會(huì)降低到最小。（ 也就是說小男孩得到的是直接誤差，小女孩是間接誤差 ）

接下來將用例子演示整個(gè)過程

假設(shè)有下圖這樣一個(gè)帶權(quán)值的網(wǎng)絡(luò)層，第一層是輸入層，包含兩個(gè)神經(jīng)元i1，i2，和截距項(xiàng)b1；第二層是隱含層，包含兩個(gè)神經(jīng)元h1,h4和截距項(xiàng)b2，第三層是輸出o1,o2，每條線上標(biāo)的wi是層與層之間連接的權(quán)重，激活函數(shù)我們默認(rèn)為sigmoid函數(shù)。

通過前向傳播我們得到輸出值為[0.75136079 , 0.772928465]，與實(shí)際值[0.01 , 0.99]相差還很遠(yuǎn)，接下來我們對(duì)誤差進(jìn)行反向傳播，更新權(quán)值，重新計(jì)算輸出。

3.輸入層---->隱含層的權(quán)值更新：

在上文計(jì)算總誤差對(duì)w5的偏導(dǎo)時(shí)，是從out(o1)---->net(o1)---->w5,但是在隱含層之間的權(quán)值更新時(shí)，是out(h1)---->net(h1)---->w1,而out(h1)會(huì)接受E(o1)和E(o2)兩個(gè)地方傳來的誤差，所以這個(gè)地方兩個(gè)都要計(jì)算。

根據(jù)BP算法的過程演示,可以得到BP算法的一般過程:

1. 正向傳播FP(求損失)

此過程中，我們根據(jù)輸入的樣本、給定的初始化權(quán)重值W和偏置項(xiàng)的值b, 計(jì)算最終輸出值以及輸出值與實(shí)際值之間的損失值。（ 注意：如果損失值不在給定的范圍內(nèi)則進(jìn)行接下來反向傳播的過程， 否則停止W,b的更新。 ）

2.反向傳播BP(回傳誤差)

將輸出以某種形式通過隱層向輸入層逐層反傳,并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號(hào),此誤差信號(hào)即作為修正各單元權(quán)值的依據(jù)。（ 主要為： ①隱層到輸出層的參數(shù)W的更新 ②從輸入層到隱層的參數(shù)W的更新。 ）

Ending~理解計(jì)算和公式還是很重要的鴨！

四、神經(jīng)網(wǎng)絡(luò)算法原理

4.2.1 概述

人工神經(jīng)網(wǎng)絡(luò)的研究與計(jì)算機(jī)的研究幾乎是同步發(fā)展的。1943年心理學(xué)家McCulloch和數(shù)學(xué)家Pitts合作提出了形式神經(jīng)元的數(shù)學(xué)模型，20世紀(jì)50年代末，Rosenblatt提出了感知器模型，1982年，Hopfiled引入了能量函數(shù)的概念提出了神經(jīng)網(wǎng)絡(luò)的一種數(shù)學(xué)模型，1986年，Rumelhart及LeCun等學(xué)者提出了多層感知器的反向傳播算法等。

神經(jīng)網(wǎng)絡(luò)技術(shù)在眾多研究者的努力下，理論上日趨完善，算法種類不斷增加。目前，有關(guān)神經(jīng)網(wǎng)絡(luò)的理論研究成果很多，出版了不少有關(guān)基礎(chǔ)理論的著作，并且現(xiàn)在仍是全球非線性科學(xué)研究的熱點(diǎn)之一。

神經(jīng)網(wǎng)絡(luò)是一種通過模擬人的大腦神經(jīng)結(jié)構(gòu)去實(shí)現(xiàn)人腦智能活動(dòng)功能的信息處理系統(tǒng)，它具有人腦的基本功能，但又不是人腦的真實(shí)寫照。它是人腦的一種抽象、簡(jiǎn)化和模擬模型，故稱之為人工神經(jīng)網(wǎng)絡(luò)（邊肇祺，2000）。

人工神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)，是神經(jīng)網(wǎng)絡(luò)的最重要組成部分之一。目前，有關(guān)神經(jīng)元的模型種類繁多，最常用最簡(jiǎn)單的模型是由閾值函數(shù)、Sigmoid 函數(shù)構(gòu)成的模型（圖 4-3）。

圖4-3 人工神經(jīng)元與兩種常見的輸出函數(shù)

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)及識(shí)別方法最初是借鑒人腦神經(jīng)元的學(xué)習(xí)識(shí)別過程提出的。輸入?yún)?shù)好比神經(jīng)元接收信號(hào)，通過一定的權(quán)值（相當(dāng)于刺激神經(jīng)興奮的強(qiáng)度）與神經(jīng)元相連，這一過程有些類似于多元線性回歸，但模擬的非線性特征是通過下一步驟體現(xiàn)的，即通過設(shè)定一閾值（神經(jīng)元興奮極限）來確定神經(jīng)元的興奮模式，經(jīng)輸出運(yùn)算得到輸出結(jié)果。經(jīng)過大量樣本進(jìn)入網(wǎng)絡(luò)系統(tǒng)學(xué)習(xí)訓(xùn)練之后，連接輸入信號(hào)與神經(jīng)元之間的權(quán)值達(dá)到穩(wěn)定并可最大限度地符合已經(jīng)經(jīng)過訓(xùn)練的學(xué)習(xí)樣本。在被確認(rèn)網(wǎng)絡(luò)結(jié)構(gòu)的合理性和學(xué)習(xí)效果的高精度之后，將待預(yù)測(cè)樣本輸入?yún)?shù)代入網(wǎng)絡(luò)，達(dá)到參數(shù)預(yù)測(cè)的目的。

4.2.2 反向傳播算法（BP法）

發(fā)展到目前為止，神經(jīng)網(wǎng)絡(luò)模型不下十幾種，如前饋神經(jīng)網(wǎng)絡(luò)、感知器、Hopfiled 網(wǎng)絡(luò)、徑向基函數(shù)網(wǎng)絡(luò)、反向傳播算法（BP法）等，但在儲(chǔ)層參數(shù)反演方面，目前比較成熟比較流行的網(wǎng)絡(luò)類型是誤差反向傳播神經(jīng)網(wǎng)絡(luò)（BP-ANN）。

BP網(wǎng)絡(luò)是在前饋神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上發(fā)展起來的，始終有一個(gè)輸入層（它包含的節(jié)點(diǎn)對(duì)應(yīng)于每個(gè)輸入變量）和一個(gè)輸出層（它包含的節(jié)點(diǎn)對(duì)應(yīng)于每個(gè)輸出值），以及至少有一個(gè)具有任意節(jié)點(diǎn)數(shù)的隱含層（又稱中間層）。在 BP-ANN中，相鄰層的節(jié)點(diǎn)通過一個(gè)任意初始權(quán)值全部相連，但同一層內(nèi)各節(jié)點(diǎn)間互不相連。對(duì)于 BP-ANN，隱含層和輸出層節(jié)點(diǎn)的基函數(shù)必須是連續(xù)的、單調(diào)遞增的，當(dāng)輸入趨于正或負(fù)無窮大時(shí)，它應(yīng)該接近于某一固定值，也就是說，基函數(shù)為“S”型（Kosko，1992）。BP-ANN 的訓(xùn)練是一個(gè)監(jiān)督學(xué)習(xí)過程，涉及兩個(gè)數(shù)據(jù)集，即訓(xùn)練數(shù)據(jù)集和監(jiān)督數(shù)據(jù)集。

給網(wǎng)絡(luò)的輸入層提供一組輸入信息，使其通過網(wǎng)絡(luò)而在輸出層上產(chǎn)生逼近期望輸出的過程，稱之為網(wǎng)絡(luò)的學(xué)習(xí)，或稱對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，實(shí)現(xiàn)這一步驟的方法則稱為學(xué)習(xí)算法。BP網(wǎng)絡(luò)的學(xué)習(xí)過程包括兩個(gè)階段：第一個(gè)階段是正向過程，將輸入變量通過輸入層經(jīng)隱層逐層計(jì)算各單元的輸出值；第二階段是反向傳播過程，由輸出誤差逐層向前算出隱層各單元的誤差，并用此誤差修正前層權(quán)值。誤差信息通過網(wǎng)絡(luò)反向傳播，遵循誤差逐步降低的原則來調(diào)整權(quán)值，直到達(dá)到滿意的輸出為止。網(wǎng)絡(luò)經(jīng)過學(xué)習(xí)以后，一組合適的、穩(wěn)定的權(quán)值連接權(quán)被固定下來，將待預(yù)測(cè)樣本作為輸入層參數(shù)，網(wǎng)絡(luò)經(jīng)過向前傳播便可以得到輸出結(jié)果，這就是網(wǎng)絡(luò)的預(yù)測(cè)。

反向傳播算法主要步驟如下：首先選定權(quán)系數(shù)初始值，然后重復(fù)下述過程直至收斂（對(duì)各樣本依次計(jì)算）。

（1）從前向后各層計(jì)算各單元O_j

儲(chǔ)層特征研究與預(yù)測(cè)

（2）對(duì)輸出層計(jì)算δ_j

儲(chǔ)層特征研究與預(yù)測(cè)

（3）從后向前計(jì)算各隱層δ_j

儲(chǔ)層特征研究與預(yù)測(cè)

（4）計(jì)算并保存各權(quán)值修正量

儲(chǔ)層特征研究與預(yù)測(cè)

（5）修正權(quán)值

儲(chǔ)層特征研究與預(yù)測(cè)

以上算法是對(duì)每個(gè)樣本作權(quán)值修正，也可以對(duì)各個(gè)樣本計(jì)算δ_j后求和，按總誤差修正權(quán)值。

以上就是關(guān)于反向傳播神經(jīng)網(wǎng)絡(luò)基本原理相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。

推薦閱讀：

openwrt反向代理（openwrt反向代理工具）

nginx反向代理內(nèi)網(wǎng)訪問外網(wǎng)（nginx反向代理內(nèi)網(wǎng)訪問外網(wǎng)文件）

nginx反向代理內(nèi)網(wǎng)訪問（nginx反向代理內(nèi)網(wǎng)訪問是什么）

杭州西湖四合院出售（杭州西湖邊十大豪宅）

微信視頻制作小程序