正文

神經(jīng)網(wǎng)絡(luò)反向傳播公式的推導(dǎo)（神經(jīng)網(wǎng)絡(luò)反向傳播公式的推導(dǎo)方法）

發(fā)布時(shí)間：2023-04-08 14:11:42 稿源：創(chuàng)意嶺閱讀： 56

大家好！今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于神經(jīng)網(wǎng)絡(luò)反向傳播公式的推導(dǎo)的問(wèn)題，以下是小編對(duì)此問(wèn)題的歸納整理，讓我們一起來(lái)看看吧。

開(kāi)始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話(huà)答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫(xiě)出的就越詳細(xì)，有微信小程序端、在線(xiàn)網(wǎng)頁(yè)版、PC客戶(hù)端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶(hù)遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話(huà)175-8598-2043，或添加微信：1454722008

本文目錄:

1、如何理解神經(jīng)網(wǎng)絡(luò)里面的反向傳播算法
2、神經(jīng)網(wǎng)絡(luò)的前向與后向傳播簡(jiǎn)單理解
3、如何理解神經(jīng)網(wǎng)絡(luò)里面的反向傳播算法
4、如何理解神經(jīng)網(wǎng)絡(luò)里面的反向傳播算法

神經(jīng)網(wǎng)絡(luò)反向傳播公式的推導(dǎo)（神經(jīng)網(wǎng)絡(luò)反向傳播公式的推導(dǎo)方法）

一、如何理解神經(jīng)網(wǎng)絡(luò)里面的反向傳播算法

可以采用MATLAB軟件中的神經(jīng)網(wǎng)絡(luò)工具箱來(lái)實(shí)現(xiàn)BP神經(jīng)網(wǎng)絡(luò)算法。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程由前向計(jì)算過(guò)程、誤差計(jì)算和誤差反向傳播過(guò)程組成。雙含隱層BP神經(jīng)網(wǎng)絡(luò)的MATLAB程序，由輸入部分、計(jì)算部分、輸出部分組成，其中輸入部分包括網(wǎng)絡(luò)參數(shù)與訓(xùn)練樣本數(shù)據(jù)的輸入、初始化權(quán)系、求輸入輸出模式各分量的平均值及標(biāo)準(zhǔn)差并作相應(yīng)數(shù)據(jù)預(yù)處理、讀入測(cè)試集樣本數(shù)據(jù)并作相應(yīng)數(shù)據(jù)預(yù)處理；計(jì)算部分包括正向計(jì)算、反向傳播、計(jì)算各層權(quán)矩陣的增量、自適應(yīng)和動(dòng)量項(xiàng)修改各層權(quán)矩陣；輸出部分包括顯示網(wǎng)絡(luò)最終狀態(tài)及計(jì)算值與期望值之間的相對(duì)誤差、輸出測(cè)試集相應(yīng)結(jié)果、顯示訓(xùn)練，測(cè)試誤差曲線(xiàn)。

二、神經(jīng)網(wǎng)絡(luò)的前向與后向傳播簡(jiǎn)單理解

正向傳播相關(guān)函數(shù)與概念理解

sigmoid激活函數(shù):

產(chǎn)生的原因，將線(xiàn)性的結(jié)果非線(xiàn)性化，轉(zhuǎn)化到0~1之間。

計(jì)算公式：

說(shuō)明：x為變量

Softmax函數(shù)

產(chǎn)生原因?qū)⑤敵龅母鱾€(gè)元素為0~1之間的實(shí)數(shù)，這些元素全部加起來(lái)為1.

計(jì)算公式:

損失函數(shù)的一個(gè)類(lèi)型，表達(dá)模型好壞的一個(gè)參數(shù)，越小越好：

交叉熵：

分類(lèi)類(lèi)別-logt 概率，多個(gè)輸入，則分類(lèi)類(lèi)別-logt 概率的平均值

上圖為函數(shù)的曲線(xiàn)表示，已知t均小于1，所以t越大，logt越大，- logt越小，則接近于0。

反向傳播相關(guān)函數(shù)與概念理解

反向傳播發(fā)的關(guān)鍵是鏈?zhǔn)椒▌t，鏈?zhǔn)椒▌t是復(fù)合函數(shù)的求導(dǎo)法則，復(fù)合函數(shù)即多個(gè)函數(shù)構(gòu)成的函數(shù)。

反向傳播算法簡(jiǎn)單來(lái)說(shuō)就是采用前層神經(jīng)元對(duì)后層神經(jīng)元的影響大小*學(xué)習(xí)率來(lái)更新權(quán)重信息，新權(quán)重值=權(quán)重值-影響大小*學(xué)習(xí)率

三、如何理解神經(jīng)網(wǎng)絡(luò)里面的反向傳播算法

類(lèi)比來(lái)說(shuō)類(lèi)似于

幾個(gè)人站成一排

第一個(gè)人看一幅畫(huà)（輸入數(shù)據(jù)），描述給第二個(gè)人（隱層）……依此類(lèi)推，到最后一個(gè)人（輸出）的時(shí)候，畫(huà)出來(lái)的畫(huà)肯定不能看了（誤差較大）。

反向傳播就是，把畫(huà)拿給最后一個(gè)人看（求取誤差），然后最后一個(gè)人就會(huì)告訴前面的人下次描述時(shí)需要注意哪里（權(quán)值修正）。

四、如何理解神經(jīng)網(wǎng)絡(luò)里面的反向傳播算法

就是利用了鏈?zhǔn)角髮?dǎo)法則，從后往前，逐層計(jì)算cost關(guān)于該層參數(shù)的梯度。詳細(xì)的退到可參見(jiàn)：

以上就是關(guān)于神經(jīng)網(wǎng)絡(luò)反向傳播公式的推導(dǎo)相關(guān)問(wèn)題的回答。希望能幫到你，如有更多相關(guān)問(wèn)題，您也可以聯(lián)系我們的客服進(jìn)行咨詢(xún)，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。