正文

人工神經(jīng)網(wǎng)絡(luò)反向傳播算法（人工神經(jīng)網(wǎng)絡(luò)反向傳播算法是什么）

發(fā)布時間：2023-04-13 23:14:00 稿源：創(chuàng)意嶺閱讀： 99

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于人工神經(jīng)網(wǎng)絡(luò)反向傳播算法的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、BP人工神經(jīng)網(wǎng)絡(luò)方法
2、因?yàn)榉聪騻鞑ニ惴ㄈ斯ぶ悄苓M(jìn)入第二個高潮具體是在哪一年
3、如何理解神經(jīng)網(wǎng)絡(luò)里面的反向傳播算法
4、如何理解神經(jīng)網(wǎng)絡(luò)里面的反向傳播算法

人工神經(jīng)網(wǎng)絡(luò)反向傳播算法（人工神經(jīng)網(wǎng)絡(luò)反向傳播算法是什么）

一、BP人工神經(jīng)網(wǎng)絡(luò)方法

（一）方法原理

人工神經(jīng)網(wǎng)絡(luò)是由大量的類似人腦神經(jīng)元的簡單處理單元廣泛地相互連接而成的復(fù)雜的網(wǎng)絡(luò)系統(tǒng)。理論和實(shí)踐表明，在信息處理方面，神經(jīng)網(wǎng)絡(luò)方法比傳統(tǒng)模式識別方法更具有優(yōu)勢。人工神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本處理單元，其接收的信息為x₁，x₂，…，x_n，而ω_ij表示第i個神經(jīng)元到第j個神經(jīng)元的連接強(qiáng)度或稱權(quán)重。神經(jīng)元的輸入是接收信息X＝（x₁，x₂，…，x_n）與權(quán)重W＝｛ω_ij｝的點(diǎn)積，將輸入與設(shè)定的某一閾值作比較，再經(jīng)過某種神經(jīng)元激活函數(shù)f的作用，便得到該神經(jīng)元的輸出O_i。常見的激活函數(shù)為Sigmoid型。人工神經(jīng)元的輸入與輸出的關(guān)系為

地球物理勘探概論

式中：x_i為第i個輸入元素，即n維輸入矢量X的第i個分量；ω_i為第i個輸入與處理單元間的互聯(lián)權(quán)重；θ為處理單元的內(nèi)部閾值；y為處理單元的輸出。

常用的人工神經(jīng)網(wǎng)絡(luò)是BP網(wǎng)絡(luò)，它由輸入層、隱含層和輸出層三部分組成。BP算法是一種有監(jiān)督的模式識別方法，包括學(xué)習(xí)和識別兩部分，其中學(xué)習(xí)過程又可分為正向傳播和反向傳播兩部分。正向傳播開始時，對所有的連接權(quán)值置隨機(jī)數(shù)作為初值，選取模式集的任一模式作為輸入，轉(zhuǎn)向隱含層處理，并在輸出層得到該模式對應(yīng)的輸出值。每一層神經(jīng)元狀態(tài)只影響下一層神經(jīng)元狀態(tài)。此時，輸出值一般與期望值存在較大的誤差，需要通過誤差反向傳遞過程，計算模式的各層神經(jīng)元權(quán)值的變化量

。這個過程不斷重復(fù)，直至完成對該模式集所有模式的計算，產(chǎn)生這一輪訓(xùn)練值的變化量Δω_ij。在修正網(wǎng)絡(luò)中各種神經(jīng)元的權(quán)值后，網(wǎng)絡(luò)重新按照正向傳播方式得到輸出。實(shí)際輸出值與期望值之間的誤差可以導(dǎo)致新一輪的權(quán)值修正。正向傳播與反向傳播過程循環(huán)往復(fù)，直到網(wǎng)絡(luò)收斂，得到網(wǎng)絡(luò)收斂后的互聯(lián)權(quán)值和閾值。

（二）BP神經(jīng)網(wǎng)絡(luò)計算步驟

（1）初始化連接權(quán)值和閾值為一小的隨機(jī)值，即W（0）＝任意值，θ（0）＝任意值。

（2）輸入一個樣本X。

（3）正向傳播，計算實(shí)際輸出，即根據(jù)輸入樣本值、互聯(lián)權(quán)值和閾值，計算樣本的實(shí)際輸出。其中輸入層的輸出等于輸入樣本值，隱含層和輸出層的輸入為

地球物理勘探概論

輸出為

地球物理勘探概論

式中：f為閾值邏輯函數(shù)，一般取Sigmoid函數(shù)，即

地球物理勘探概論

式中：θ_j表示閾值或偏置；θ₀的作用是調(diào)節(jié)Sigmoid函數(shù)的形狀。較小的θ₀將使Sigmoid函數(shù)逼近于閾值邏輯單元的特征，較大的θ₀將導(dǎo)致Sigmoid函數(shù)變平緩，一般取θ₀＝1。

（4）計算實(shí)際輸出與理想輸出的誤差

地球物理勘探概論

式中：t_pk為理想輸出；O_pk為實(shí)際輸出；p為樣本號；k為輸出節(jié)點(diǎn)號。

（5）誤差反向傳播，修改權(quán)值

地球物理勘探概論

式中：

地球物理勘探概論

（6）判斷收斂。若誤差小于給定值，則結(jié)束，否則轉(zhuǎn)向步驟（2）。

（三）塔北雅克拉地區(qū)BP神經(jīng)網(wǎng)絡(luò)預(yù)測實(shí)例

以塔北雅克拉地區(qū)S4井為已知樣本，取氧化還原電位，放射性元素Rn、Th、Tc、U、K和地震反射

構(gòu)造面等7個特征為識別的依據(jù)。

構(gòu)造面反映了局部構(gòu)造的起伏變化，其局部隆起部位應(yīng)是油氣運(yùn)移和富集的有利部位，它可以作為判斷含油氣性的諸種因素之一。在該地區(qū)投入了高精度重磁、土壤微磁、頻譜激電等多種方法，一些參數(shù)未入選為判別的特征參數(shù)，是因?yàn)槟承﹨?shù)是相關(guān)的。在使用神經(jīng)網(wǎng)絡(luò)方法判別之前，還采用K-L變換（Karhaem-Loeve）來分析和提取特征。

S4井位于測區(qū)西南部5線25點(diǎn)，是區(qū)內(nèi)唯一已知井。該井在5390.6m的侏羅系地層獲得40.6m厚的油氣層，在5482m深的震旦系地層中獲58m厚的油氣層。取S4井周圍9個點(diǎn)，即4～6線的23～25 點(diǎn)作為已知油氣的訓(xùn)練樣本；由于區(qū)內(nèi)沒有未見油的鉆井，只好根據(jù)地質(zhì)資料分析，選取14～16線的55～57點(diǎn)作為非油氣的訓(xùn)練樣本。BP網(wǎng)絡(luò)學(xué)習(xí)迭代17174次，總誤差為0.0001，學(xué)習(xí)效果相當(dāng)滿意。以學(xué)習(xí)后的網(wǎng)絡(luò)進(jìn)行識別，得出結(jié)果如圖6-2-4所示。

圖6-2-4 塔北雅克拉地區(qū)BP神經(jīng)網(wǎng)絡(luò)聚類結(jié)果

（據(jù)劉天佑等，1997）

由圖6-2-4可見，由預(yù)測值大于0.9可得5個大封閉圈遠(yuǎn)景區(qū)，其中測區(qū)南部①號遠(yuǎn)景區(qū)對應(yīng)著已知油井S4井；②、③號油氣遠(yuǎn)景區(qū)位于地震勘探所查明的托庫1、2號構(gòu)造，該兩個構(gòu)造位于沙雅隆起的東段，其西段即為1984年鉆遇高產(chǎn)油氣流的Sch4井，應(yīng)是含油氣性好的遠(yuǎn)景區(qū)；④、⑤號遠(yuǎn)景區(qū)位于大澇壩構(gòu)造，是yh油田的組成部分。

二、因?yàn)榉聪騻鞑ニ惴ㄈ斯ぶ悄苓M(jìn)入第二個高潮具體是在哪一年

人工智能的第二次高潮始于上世紀(jì)80年代。

人工智能是在1956年達(dá)特茅斯會議上首先提出的。該會議確定了人工智能的目標(biāo)是“實(shí)現(xiàn)能夠像人類一樣利用知識去解決問題的機(jī)器”。雖然，這個夢想很快被一系列未果的嘗試所擊碎，但卻開啟了人工智能漫長而曲折的研究歷程。

人工智能的第一次高潮始于上世紀(jì)50年代。在算法方面，感知器數(shù)學(xué)模型被提出用于模擬人的神經(jīng)元反應(yīng)過程，并能夠使用梯度下降法從訓(xùn)練樣本中自動學(xué)習(xí)，完成分類任務(wù)。另外，由于計算機(jī)應(yīng)用的發(fā)展，利用計算機(jī)實(shí)現(xiàn)邏輯推理的一些嘗試取得成功。

理論與實(shí)踐效果帶來第一次神經(jīng)網(wǎng)絡(luò)的浪潮。然而，感知器模型的缺陷之后被發(fā)現(xiàn)，即它本質(zhì)上只能處理線性分類問題，就連最簡單的異或題都無法正確分類。許多應(yīng)用難題并沒有隨著時間推移而被解決，神經(jīng)網(wǎng)絡(luò)的研究也陷入停滯。

人工神經(jīng)網(wǎng)絡(luò)反向傳播算法（人工神經(jīng)網(wǎng)絡(luò)反向傳播算法是什么）

人工智能的第二次高潮始于上世紀(jì)80年代。BP(Back Propagation)算法被提出，用于多層神經(jīng)網(wǎng)絡(luò)的參數(shù)計算，以解決非線性分類和學(xué)習(xí)的問題。另外，針對特定領(lǐng)域的專家系統(tǒng)也在商業(yè)上獲得成功應(yīng)用，人工智能迎來了又一輪高潮。

然而，人工神經(jīng)網(wǎng)絡(luò)的設(shè)計一直缺少相應(yīng)的嚴(yán)格的數(shù)學(xué)理論支持，之后BP算法更被指出存在梯度消失問題，因此無法對前層進(jìn)行有效的學(xué)習(xí)。專家系統(tǒng)也暴露出應(yīng)用領(lǐng)域狹窄、知識獲取困難等問題。人工智能的研究進(jìn)入第二次低谷。

人工智能的第三次高潮始于2010年代。深度學(xué)習(xí)的出現(xiàn)引起了廣泛的關(guān)注，多層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程中的梯度消失問題被有效地抑制，網(wǎng)絡(luò)的深層結(jié)構(gòu)也能夠自動提取并表征復(fù)雜的特征。

避免傳統(tǒng)方法中通過人工提取特征的問題。深度學(xué)習(xí)被應(yīng)用到語音識別以及圖像識別中，取得了非常好的效果。人工智能在大數(shù)據(jù)時代進(jìn)入了第三次發(fā)展高潮。

三、如何理解神經(jīng)網(wǎng)絡(luò)里面的反向傳播算法

類比來說類似于

幾個人站成一排

第一個人看一幅畫（輸入數(shù)據(jù)），描述給第二個人（隱層）……依此類推，到最后一個人（輸出）的時候，畫出來的畫肯定不能看了（誤差較大）。

反向傳播就是，把畫拿給最后一個人看（求取誤差），然后最后一個人就會告訴前面的人下次描述時需要注意哪里（權(quán)值修正）。

四、如何理解神經(jīng)網(wǎng)絡(luò)里面的反向傳播算法

就是利用了鏈?zhǔn)角髮?dǎo)法則，從后往前，逐層計算cost關(guān)于該層參數(shù)的梯度。詳細(xì)的退到可參見：

以上就是關(guān)于人工神經(jīng)網(wǎng)絡(luò)反向傳播算法相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會為您講解更多精彩的知識和內(nèi)容。