正文

神經(jīng)網(wǎng)絡(luò)反向傳播原理（神經(jīng)網(wǎng)絡(luò)反向傳播原理圖）

發(fā)布時(shí)間：2023-04-19 08:01:54 稿源：創(chuàng)意嶺閱讀： 86

大家好！今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于神經(jīng)網(wǎng)絡(luò)反向傳播原理的問(wèn)題，以下是小編對(duì)此問(wèn)題的歸納整理，讓我們一起來(lái)看看吧。

開(kāi)始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫(xiě)出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁(yè)版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、神經(jīng)網(wǎng)絡(luò)算法原理
2、解讀反向傳播算法（BackPropagation）
3、神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)原理！
4、BP神經(jīng)網(wǎng)絡(luò)(誤差反傳網(wǎng)絡(luò))

神經(jīng)網(wǎng)絡(luò)反向傳播原理（神經(jīng)網(wǎng)絡(luò)反向傳播原理圖）

一、神經(jīng)網(wǎng)絡(luò)算法原理

4.2.1 概述

人工神經(jīng)網(wǎng)絡(luò)的研究與計(jì)算機(jī)的研究幾乎是同步發(fā)展的。1943年心理學(xué)家McCulloch和數(shù)學(xué)家Pitts合作提出了形式神經(jīng)元的數(shù)學(xué)模型，20世紀(jì)50年代末，Rosenblatt提出了感知器模型，1982年，Hopfiled引入了能量函數(shù)的概念提出了神經(jīng)網(wǎng)絡(luò)的一種數(shù)學(xué)模型，1986年，Rumelhart及LeCun等學(xué)者提出了多層感知器的反向傳播算法等。

神經(jīng)網(wǎng)絡(luò)技術(shù)在眾多研究者的努力下，理論上日趨完善，算法種類不斷增加。目前，有關(guān)神經(jīng)網(wǎng)絡(luò)的理論研究成果很多，出版了不少有關(guān)基礎(chǔ)理論的著作，并且現(xiàn)在仍是全球非線性科學(xué)研究的熱點(diǎn)之一。

神經(jīng)網(wǎng)絡(luò)是一種通過(guò)模擬人的大腦神經(jīng)結(jié)構(gòu)去實(shí)現(xiàn)人腦智能活動(dòng)功能的信息處理系統(tǒng)，它具有人腦的基本功能，但又不是人腦的真實(shí)寫(xiě)照。它是人腦的一種抽象、簡(jiǎn)化和模擬模型，故稱之為人工神經(jīng)網(wǎng)絡(luò)（邊肇祺，2000）。

人工神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)，是神經(jīng)網(wǎng)絡(luò)的最重要組成部分之一。目前，有關(guān)神經(jīng)元的模型種類繁多，最常用最簡(jiǎn)單的模型是由閾值函數(shù)、Sigmoid 函數(shù)構(gòu)成的模型（圖 4-3）。

神經(jīng)網(wǎng)絡(luò)反向傳播原理（神經(jīng)網(wǎng)絡(luò)反向傳播原理圖）

圖4-3 人工神經(jīng)元與兩種常見(jiàn)的輸出函數(shù)

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)及識(shí)別方法最初是借鑒人腦神經(jīng)元的學(xué)習(xí)識(shí)別過(guò)程提出的。輸入?yún)?shù)好比神經(jīng)元接收信號(hào)，通過(guò)一定的權(quán)值（相當(dāng)于刺激神經(jīng)興奮的強(qiáng)度）與神經(jīng)元相連，這一過(guò)程有些類似于多元線性回歸，但模擬的非線性特征是通過(guò)下一步驟體現(xiàn)的，即通過(guò)設(shè)定一閾值（神經(jīng)元興奮極限）來(lái)確定神經(jīng)元的興奮模式，經(jīng)輸出運(yùn)算得到輸出結(jié)果。經(jīng)過(guò)大量樣本進(jìn)入網(wǎng)絡(luò)系統(tǒng)學(xué)習(xí)訓(xùn)練之后，連接輸入信號(hào)與神經(jīng)元之間的權(quán)值達(dá)到穩(wěn)定并可最大限度地符合已經(jīng)經(jīng)過(guò)訓(xùn)練的學(xué)習(xí)樣本。在被確認(rèn)網(wǎng)絡(luò)結(jié)構(gòu)的合理性和學(xué)習(xí)效果的高精度之后，將待預(yù)測(cè)樣本輸入?yún)?shù)代入網(wǎng)絡(luò)，達(dá)到參數(shù)預(yù)測(cè)的目的。

4.2.2 反向傳播算法（BP法）

發(fā)展到目前為止，神經(jīng)網(wǎng)絡(luò)模型不下十幾種，如前饋神經(jīng)網(wǎng)絡(luò)、感知器、Hopfiled 網(wǎng)絡(luò)、徑向基函數(shù)網(wǎng)絡(luò)、反向傳播算法（BP法）等，但在儲(chǔ)層參數(shù)反演方面，目前比較成熟比較流行的網(wǎng)絡(luò)類型是誤差反向傳播神經(jīng)網(wǎng)絡(luò)（BP-ANN）。

BP網(wǎng)絡(luò)是在前饋神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上發(fā)展起來(lái)的，始終有一個(gè)輸入層（它包含的節(jié)點(diǎn)對(duì)應(yīng)于每個(gè)輸入變量）和一個(gè)輸出層（它包含的節(jié)點(diǎn)對(duì)應(yīng)于每個(gè)輸出值），以及至少有一個(gè)具有任意節(jié)點(diǎn)數(shù)的隱含層（又稱中間層）。在 BP-ANN中，相鄰層的節(jié)點(diǎn)通過(guò)一個(gè)任意初始權(quán)值全部相連，但同一層內(nèi)各節(jié)點(diǎn)間互不相連。對(duì)于 BP-ANN，隱含層和輸出層節(jié)點(diǎn)的基函數(shù)必須是連續(xù)的、單調(diào)遞增的，當(dāng)輸入趨于正或負(fù)無(wú)窮大時(shí)，它應(yīng)該接近于某一固定值，也就是說(shuō)，基函數(shù)為“S”型（Kosko，1992）。BP-ANN 的訓(xùn)練是一個(gè)監(jiān)督學(xué)習(xí)過(guò)程，涉及兩個(gè)數(shù)據(jù)集，即訓(xùn)練數(shù)據(jù)集和監(jiān)督數(shù)據(jù)集。

給網(wǎng)絡(luò)的輸入層提供一組輸入信息，使其通過(guò)網(wǎng)絡(luò)而在輸出層上產(chǎn)生逼近期望輸出的過(guò)程，稱之為網(wǎng)絡(luò)的學(xué)習(xí)，或稱對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，實(shí)現(xiàn)這一步驟的方法則稱為學(xué)習(xí)算法。BP網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程包括兩個(gè)階段：第一個(gè)階段是正向過(guò)程，將輸入變量通過(guò)輸入層經(jīng)隱層逐層計(jì)算各單元的輸出值；第二階段是反向傳播過(guò)程，由輸出誤差逐層向前算出隱層各單元的誤差，并用此誤差修正前層權(quán)值。誤差信息通過(guò)網(wǎng)絡(luò)反向傳播，遵循誤差逐步降低的原則來(lái)調(diào)整權(quán)值，直到達(dá)到滿意的輸出為止。網(wǎng)絡(luò)經(jīng)過(guò)學(xué)習(xí)以后，一組合適的、穩(wěn)定的權(quán)值連接權(quán)被固定下來(lái)，將待預(yù)測(cè)樣本作為輸入層參數(shù)，網(wǎng)絡(luò)經(jīng)過(guò)向前傳播便可以得到輸出結(jié)果，這就是網(wǎng)絡(luò)的預(yù)測(cè)。

反向傳播算法主要步驟如下：首先選定權(quán)系數(shù)初始值，然后重復(fù)下述過(guò)程直至收斂（對(duì)各樣本依次計(jì)算）。

（1）從前向后各層計(jì)算各單元O_j

儲(chǔ)層特征研究與預(yù)測(cè)

（2）對(duì)輸出層計(jì)算δ_j

神經(jīng)網(wǎng)絡(luò)反向傳播原理（神經(jīng)網(wǎng)絡(luò)反向傳播原理圖）

儲(chǔ)層特征研究與預(yù)測(cè)

（3）從后向前計(jì)算各隱層δ_j

儲(chǔ)層特征研究與預(yù)測(cè)

（4）計(jì)算并保存各權(quán)值修正量

神經(jīng)網(wǎng)絡(luò)反向傳播原理（神經(jīng)網(wǎng)絡(luò)反向傳播原理圖）

儲(chǔ)層特征研究與預(yù)測(cè)

（5）修正權(quán)值

神經(jīng)網(wǎng)絡(luò)反向傳播原理（神經(jīng)網(wǎng)絡(luò)反向傳播原理圖）

儲(chǔ)層特征研究與預(yù)測(cè)

以上算法是對(duì)每個(gè)樣本作權(quán)值修正，也可以對(duì)各個(gè)樣本計(jì)算δ_j后求和，按總誤差修正權(quán)值。

二、解讀反向傳播算法（BackPropagation）

冒泡~周末愉快鴨！

舉個(gè)例子：

如下圖所示，這是 帶有一個(gè)隱層的三層神經(jīng)網(wǎng)絡(luò) ，

-小女孩→隱藏層節(jié)點(diǎn)

-小黃帽→輸出層節(jié)點(diǎn)

-哆啦A夢(mèng)→誤差

小女孩左側(cè)接受輸入信號(hào)，經(jīng)過(guò)隱層節(jié)點(diǎn)產(chǎn)生輸出結(jié)果，哆啦A夢(mèng)則指導(dǎo)參數(shù)往更優(yōu)的方向調(diào)整。由于哆啦A夢(mèng)可以直接將誤差反饋給小黃帽，所以與小黃帽直接相連的左側(cè)參數(shù)矩陣可以直接通過(guò)誤差進(jìn)行參數(shù)優(yōu)化（實(shí)縱線）；而與小女孩直接相連的左側(cè)參數(shù)矩陣由于不能得到哆啦A夢(mèng)的直接反饋而不能直接被優(yōu)化（虛棕線）。但由于反向傳播算法使得哆啦A夢(mèng)的反饋可以被傳遞到小女孩那進(jìn)而產(chǎn)生間接誤差，所以與小女孩直接相連的左側(cè)權(quán)重矩陣可以通過(guò)間接誤差得到權(quán)重更新，迭代幾輪，誤差會(huì)降低到最小。（ 也就是說(shuō)小男孩得到的是直接誤差，小女孩是間接誤差 ）

接下來(lái)將用例子演示整個(gè)過(guò)程

假設(shè)有下圖這樣一個(gè)帶權(quán)值的網(wǎng)絡(luò)層，第一層是輸入層，包含兩個(gè)神經(jīng)元i1，i2，和截距項(xiàng)b1；第二層是隱含層，包含兩個(gè)神經(jīng)元h1,h4和截距項(xiàng)b2，第三層是輸出o1,o2，每條線上標(biāo)的wi是層與層之間連接的權(quán)重，激活函數(shù)我們默認(rèn)為sigmoid函數(shù)。

通過(guò)前向傳播我們得到輸出值為[0.75136079 , 0.772928465]，與實(shí)際值[0.01 , 0.99]相差還很遠(yuǎn)，接下來(lái)我們對(duì)誤差進(jìn)行反向傳播，更新權(quán)值，重新計(jì)算輸出。

3.輸入層---->隱含層的權(quán)值更新：

在上文計(jì)算總誤差對(duì)w5的偏導(dǎo)時(shí)，是從out(o1)---->net(o1)---->w5,但是在隱含層之間的權(quán)值更新時(shí)，是out(h1)---->net(h1)---->w1,而out(h1)會(huì)接受E(o1)和E(o2)兩個(gè)地方傳來(lái)的誤差，所以這個(gè)地方兩個(gè)都要計(jì)算。

根據(jù)BP算法的過(guò)程演示,可以得到BP算法的一般過(guò)程:

1. 正向傳播FP(求損失)

此過(guò)程中，我們根據(jù)輸入的樣本、給定的初始化權(quán)重值W和偏置項(xiàng)的值b, 計(jì)算最終輸出值以及輸出值與實(shí)際值之間的損失值。（ 注意：如果損失值不在給定的范圍內(nèi)則進(jìn)行接下來(lái)反向傳播的過(guò)程，否則停止W,b的更新。 ）

2.反向傳播BP(回傳誤差)

將輸出以某種形式通過(guò)隱層向輸入層逐層反傳,并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號(hào),此誤差信號(hào)即作為修正各單元權(quán)值的依據(jù)。（ 主要為： ①隱層到輸出層的參數(shù)W的更新 ②從輸入層到隱層的參數(shù)W的更新。 ）

Ending~理解計(jì)算和公式還是很重要的鴨！

三、神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)原理！

Back Propagation BP (Back Propagation)神經(jīng)網(wǎng)絡(luò)，即誤差反傳誤差反向傳播算法的學(xué)習(xí)過(guò)程，由信息的正向傳播和誤差的反向傳播兩個(gè)過(guò)程組成。輸入層各神經(jīng)元負(fù)責(zé)接收來(lái)自外界的輸入信息，并傳遞給中間層各神經(jīng)元；中間層是內(nèi)部信息處理層，負(fù)責(zé)信息變換，根據(jù)信息變化能力的需求，中間層（隱含層）可以設(shè)計(jì)為單隱層或者多隱層結(jié)構(gòu)；最后一個(gè)隱層傳遞到輸出層各神經(jīng)元的信息，經(jīng)進(jìn)一步處理后，完成一次學(xué)習(xí)的正向傳播處理過(guò)程，由輸出層向外界輸出信息處理結(jié)果。神經(jīng)網(wǎng)絡(luò)很多種，BP神經(jīng)網(wǎng)絡(luò)最常用。

四、BP神經(jīng)網(wǎng)絡(luò)(誤差反傳網(wǎng)絡(luò))

雖然每個(gè)人工神經(jīng)元很簡(jiǎn)單，但是只要把多個(gè)人工

神經(jīng)元按一定方式連接起來(lái)就構(gòu)成了一個(gè)能處理復(fù)雜信息的神經(jīng)網(wǎng)絡(luò)。采用BP算法的多層前饋網(wǎng)絡(luò)是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)，稱之為BP神經(jīng)網(wǎng)絡(luò)。它的最大功能就是能映射復(fù)雜的非線性函數(shù)關(guān)系。

對(duì)于已知的模型空間和數(shù)據(jù)空間，我們知道某個(gè)模型和他對(duì)應(yīng)的數(shù)據(jù)，但是無(wú)法寫(xiě)出它們之間的函數(shù)關(guān)系式，但是如果有大量的一一對(duì)應(yīng)的模型和數(shù)據(jù)樣本集合，利用BP神經(jīng)網(wǎng)絡(luò)可以模擬(映射)它們之間的函數(shù)關(guān)系。

一個(gè)三層BP網(wǎng)絡(luò)如圖8.11所示，分為輸入層、隱層、輸出層。它是最常用的BP網(wǎng)絡(luò)。理論分析證明三層網(wǎng)絡(luò)已經(jīng)能夠表達(dá)任意復(fù)雜的連續(xù)函數(shù)關(guān)系了。只有在映射不連續(xù)函數(shù)時(shí)(如鋸齒波)才需要兩個(gè)隱層^[8]。

圖8.11中，X=(x₁，…，x_i，…，x_n)^T為輸入向量，如加入x₀=-1，可以為隱層神經(jīng)元引入閥值;隱層輸出向量為:Y=(y₁，…，y_i，…，y_m)^T，如加入y₀=-1，可以為輸出層神經(jīng)元引入閥值;輸出層輸出向量為:O=(o₁，…，o_i，…，o_l)^T;輸入層到隱層之間的權(quán)值矩陣用V表示，V=(V₁，…，V_j，…，V_l)^T，其中列向量V_j表示隱層第j個(gè)神經(jīng)元的權(quán)值向量;隱層到輸出層之間的權(quán)值矩陣用W表示，W=(W₁，…，W_k，…，W_l)^T，

其中列向量W_k表示輸出層第k個(gè)神經(jīng)元的權(quán)值向量。

圖8.11 三層BP網(wǎng)絡(luò)^[8]

BP算法的基本思想是:預(yù)先給定一一對(duì)應(yīng)的輸入輸出樣本集。學(xué)習(xí)過(guò)程由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過(guò)程組成。正向傳播時(shí)，輸入樣本從輸入層傳入，經(jīng)過(guò)各隱層逐層處理后，傳向輸出層。若輸出層的實(shí)際輸出與期望的輸出(教師信號(hào))不符，則轉(zhuǎn)入誤差的反向傳播。將輸出誤差以某種形式通過(guò)隱層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層的所有神經(jīng)元，獲得各層的誤差信號(hào)，用它們可以對(duì)各層的神經(jīng)元的權(quán)值進(jìn)行調(diào)整(關(guān)于如何修改權(quán)值參見(jiàn)韓立群著作^[8])，循環(huán)不斷地利用輸入輸出樣本集進(jìn)行權(quán)值調(diào)整，以使所有輸入樣本的輸出誤差都減小到滿意的精度。這個(gè)過(guò)程就稱為網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過(guò)程。當(dāng)網(wǎng)絡(luò)訓(xùn)練完畢后，它相當(dāng)于映射(表達(dá))了輸入輸出樣本之間的函數(shù)關(guān)系。

在地球物理勘探中，正演過(guò)程可以表示為如下函數(shù):

d=f(m) (8.31)

它的反函數(shù)為

m=f^-1(d) (8.32)

如果能夠獲得這個(gè)反函數(shù)，那么就解決了反演問(wèn)題。一般來(lái)說(shuō)，難以寫(xiě)出這個(gè)反函數(shù)，但是我們可以用BP神經(jīng)網(wǎng)絡(luò)來(lái)映射這個(gè)反函數(shù)m=f^-1(d)。對(duì)于地球物理反問(wèn)題，如果把觀測(cè)數(shù)據(jù)當(dāng)作輸入數(shù)據(jù)，模型參數(shù)當(dāng)作輸出數(shù)據(jù)，事先在模型空間隨機(jī)產(chǎn)生大量樣本進(jìn)行正演計(jì)算，獲得對(duì)應(yīng)的觀測(cè)數(shù)據(jù)樣本，利用它們對(duì)BP網(wǎng)絡(luò)進(jìn)行訓(xùn)練，則訓(xùn)練好的網(wǎng)絡(luò)就相當(dāng)于是地球物理數(shù)據(jù)方程的反函數(shù)?？梢杂盟M(jìn)行反演，輸入觀測(cè)數(shù)據(jù)，網(wǎng)絡(luò)就會(huì)輸出它所對(duì)應(yīng)的模型。

BP神經(jīng)網(wǎng)絡(luò)在能夠進(jìn)行反演之前需要進(jìn)行學(xué)習(xí)訓(xùn)練。訓(xùn)練需要大量的樣本，產(chǎn)生這些樣本需要大量的正演計(jì)算，此外在學(xué)習(xí)訓(xùn)練過(guò)程也需要大量的時(shí)間。但是BP神經(jīng)網(wǎng)絡(luò)一旦訓(xùn)練完畢，在反演中的計(jì)算時(shí)間可以忽略。

要想使BP神經(jīng)網(wǎng)絡(luò)比較好地映射函數(shù)關(guān)系，需要有全面代表性的樣本，但是由于模型空間的無(wú)限性，難以獲得全面代表性的樣本集合。用這樣的樣本訓(xùn)練出來(lái)的BP網(wǎng)絡(luò)，只能反映樣本所在的較小范圍數(shù)據(jù)空間和較小范圍模型空間的函數(shù)關(guān)系。對(duì)于超出它們的觀測(cè)數(shù)據(jù)就無(wú)法正確反演。目前BP神經(jīng)網(wǎng)絡(luò)在一維反演有較多應(yīng)用，在二維、三維反演應(yīng)用較少，原因就是難以產(chǎn)生全面代表性的樣本空間。

以上就是關(guān)于神經(jīng)網(wǎng)絡(luò)反向傳播原理相關(guān)問(wèn)題的回答。希望能幫到你，如有更多相關(guān)問(wèn)題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。