正文

神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)（神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)時(shí)需注意）

發(fā)布時(shí)間：2023-04-21 23:48:21 稿源：創(chuàng)意嶺閱讀： 67

大家好！今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)的問(wèn)題，以下是小編對(duì)此問(wèn)題的歸納整理，讓我們一起來(lái)看看吧。

開(kāi)始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫(xiě)出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁(yè)版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的基本信息
2、建立BP神經(jīng)網(wǎng)絡(luò)地面沉降預(yù)測(cè)模型
3、如何設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)一對(duì)數(shù)組的函數(shù)關(guān)系
4、BP神經(jīng)網(wǎng)絡(luò)的梳理

神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)（神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)時(shí)需注意）

一、神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的基本信息

英文名: Neural Network Design

作者: [美] 哈根等

譯者: 戴葵等

定價(jià): 49.00

神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)（神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)時(shí)需注意）

二、建立BP神經(jīng)網(wǎng)絡(luò)地面沉降預(yù)測(cè)模型

基坑降水引起地面沉降的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型建模過(guò)程如下：

（1）樣本選擇

因基坑降水引起的地面沉降量和距離基坑的距離關(guān)系密切，因此建模選用“基坑降水引起沉降工程數(shù)據(jù)（第二類）”（見(jiàn)表4.1）中的相關(guān)數(shù)據(jù)作為樣本進(jìn)行學(xué)習(xí)訓(xùn)練和檢驗(yàn)。

（2）BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

對(duì)于BP網(wǎng)絡(luò)，對(duì)于任何在閉區(qū)間內(nèi)的一個(gè)連續(xù)函數(shù)都可以用單隱層的BP網(wǎng)絡(luò)逼近，因而一個(gè)三層BP網(wǎng)絡(luò)就可以完成任意的n維到m維的映射。根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單化的原則，確定采用三層BP網(wǎng)絡(luò)結(jié)構(gòu)，即輸入層為沉降點(diǎn)距基坑的距離L（m）、等效壓縮模量E（MPa）、水位降深H（m）和支護(hù)剛度n四個(gè)參數(shù)，輸出層為地面累積沉降量（mm），隱層層數(shù)為1層。隱層的神經(jīng)元數(shù)目選擇是一個(gè)十分復(fù)雜的問(wèn)題，往往需要根據(jù)設(shè)計(jì)者的經(jīng)驗(yàn)和多次實(shí)驗(yàn)來(lái)確定，因而不存在一個(gè)理想的解析式來(lái)表示。隱單元的數(shù)目與問(wèn)題的要求，與輸入、輸出單元的數(shù)目有直接的關(guān)系。隱單元數(shù)目太多會(huì)導(dǎo)致學(xué)習(xí)時(shí)間過(guò)長(zhǎng)，誤差不一定最佳，也會(huì)導(dǎo)致容錯(cuò)性差、不能識(shí)別以前沒(méi)有看到的樣本，因此一定存在一個(gè)最佳的隱單元數(shù)。研究通過(guò)一次編程比較了隱層神經(jīng)元個(gè)數(shù)分別為5、10、15、20、25、30、40時(shí)訓(xùn)練速度及檢驗(yàn)精度。

圖4.2 BP神經(jīng)網(wǎng)絡(luò)程序框圖

（3）網(wǎng)絡(luò)訓(xùn)練及檢驗(yàn)

BP網(wǎng)絡(luò)采用梯度下降法來(lái)降低網(wǎng)絡(luò)的訓(xùn)練誤差，考慮到基坑降水地面沉降范圍內(nèi)沉降量變化幅度較小的特點(diǎn)，訓(xùn)練時(shí)以訓(xùn)練目標(biāo)取0.001為控制條件，考慮到網(wǎng)絡(luò)的結(jié)構(gòu)比較復(fù)雜，神經(jīng)元個(gè)數(shù)比較多，需要適當(dāng)增加訓(xùn)練次數(shù)和學(xué)習(xí)速率，因此初始訓(xùn)練次數(shù)設(shè)為10000次，學(xué)習(xí)速率取0.1，中間層的神經(jīng)元傳遞函數(shù)采用S型正切函數(shù)tansig，傳輸函數(shù)采用logsig，訓(xùn)練函數(shù)采用trainlm，選用38組數(shù)據(jù)中的33組作為訓(xùn)練樣本，5組作為檢驗(yàn)樣本。

（4）網(wǎng)絡(luò)實(shí)現(xiàn)及檢驗(yàn)效果

使用MATLAB6.0編程建立基于BP神經(jīng)網(wǎng)絡(luò)的基坑降水地面沉降預(yù)測(cè)模型（程序代碼見(jiàn)附件1），其訓(xùn)練誤差及檢驗(yàn)效果如下：

圖4.3 訓(xùn)練誤差曲線

圖4.4 預(yù)測(cè)誤差曲線

由圖4.3、圖4.4可見(jiàn)：樣本數(shù)據(jù)收斂，訓(xùn)練誤差較小，中間層神經(jīng)單元個(gè)數(shù)為10時(shí)預(yù)測(cè)精度較好，誤差小于20%，誤差滿足工程需求。

三、如何設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)一對(duì)數(shù)組的函數(shù)關(guān)系

測(cè)試BP神經(jīng)網(wǎng)絡(luò)的擬合能力和泛化能力，按這種說(shuō)法是同一概念，但是擬合和泛化在其它領(lǐng)域是完全不同的，這個(gè)要區(qū)分清楚。測(cè)試一個(gè)神經(jīng)網(wǎng)絡(luò)的擬合能力，這種說(shuō)法很少用，大家經(jīng)常用的是測(cè)試神經(jīng)網(wǎng)絡(luò)的泛化能力。

四、BP神經(jīng)網(wǎng)絡(luò)的梳理

BP神經(jīng)網(wǎng)絡(luò)被稱為“深度學(xué)習(xí)之旅的開(kāi)端”，是神經(jīng)網(wǎng)絡(luò)的入門(mén)算法。

各種高大上的神經(jīng)網(wǎng)絡(luò)都是基于BP網(wǎng)絡(luò)出發(fā)的，最基礎(chǔ)的原理都是由BP網(wǎng)絡(luò)而來(lái) [1] ，另外由于BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，算法經(jīng)典，是神經(jīng)網(wǎng)絡(luò)中應(yīng)用最廣泛的一種。

BP神經(jīng)網(wǎng)絡(luò)（back propagation neural network）全稱是反向傳播神經(jīng)網(wǎng)絡(luò)。

神經(jīng)網(wǎng)絡(luò)發(fā)展部分背景如下 [2] ：

為解決非線性問(wèn)題，BP神經(jīng)網(wǎng)絡(luò)應(yīng)運(yùn)而生。

那么什么是BP神經(jīng)網(wǎng)絡(luò)？稍微專業(yè)點(diǎn)的解釋要怎么說(shuō)呢？

很喜歡最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)--Bp神經(jīng)網(wǎng)絡(luò) 一文對(duì)算法原理的解釋，語(yǔ)言活潑，案例簡(jiǎn)單，由淺入深。

文中提到所謂的 AI 技術(shù)，本質(zhì)上是一種數(shù)據(jù)處理處理技術(shù)，它的強(qiáng)大來(lái)自于兩方面：1.互聯(lián)網(wǎng)的發(fā)展帶來(lái)的海量數(shù)據(jù)信息；2.計(jì)算機(jī)深度學(xué)習(xí)算法的快速發(fā)展。AI 其實(shí)并沒(méi)有什么神秘，只是在算法上更為復(fù)雜 [3] 。

我們從上面的定義出發(fā)來(lái)解釋BP神經(jīng)網(wǎng)絡(luò)的原理。

BP神經(jīng)網(wǎng)絡(luò)整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)包含了：一層輸入層，一到多層隱藏層，一層輸出層。

一般說(shuō)L層神經(jīng)網(wǎng)絡(luò)，指的是有L個(gè)隱層，輸入層和輸出層都不計(jì)算在內(nèi)的 [6] 。

BP神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的學(xué)習(xí)過(guò)程由信號(hào)的正向傳播和誤差的反向傳播兩個(gè)過(guò)程組成。

什么是信號(hào)的正向傳播？顧名思義，就是結(jié)構(gòu)圖從左到右的運(yùn)算過(guò)程。

我們來(lái)看看結(jié)構(gòu)圖中每個(gè)小圓圈是怎么運(yùn)作的。我們把小圈圈叫做神經(jīng)元，是組成神經(jīng)網(wǎng)絡(luò)的基本單元。

正向傳播就是輸入數(shù)據(jù)經(jīng)過(guò)一層一層的神經(jīng)元運(yùn)算、輸出的過(guò)程，最后一層輸出值作為算法預(yù)測(cè)值y'。

前面正向傳播的時(shí)候我們提到權(quán)重w、偏置b，但我們并不知道權(quán)重w、偏置b的值應(yīng)該是什么。關(guān)于最優(yōu)參數(shù)的求解，我們?cè)?線性回歸、邏輯回歸兩章中有了詳細(xì)說(shuō)明。大致來(lái)講就是：

BP神經(jīng)網(wǎng)絡(luò)全稱 back propagation neural network，back propagation反向傳播是什么？

反向傳播的建設(shè)本質(zhì)上就是尋找最優(yōu)的參數(shù)組合，和上面的流程差不多，根據(jù)算法預(yù)測(cè)值和實(shí)際值之間的損失函數(shù)L(y',y)，來(lái)反方向地計(jì)算每一層的z、a、w、b的偏導(dǎo)數(shù)，從而更新參數(shù)。

對(duì)反向傳播而言，輸入的內(nèi)容是預(yù)測(cè)值和實(shí)際值的誤差，輸出的內(nèi)容是對(duì)參數(shù)的更新，方向是從右往左，一層一層的更新每一層的參數(shù)。

BP神經(jīng)網(wǎng)絡(luò)通過(guò)先正向傳播，構(gòu)建參數(shù)和輸入值的關(guān)系，通過(guò)預(yù)測(cè)值和實(shí)際值的誤差，反向傳播修復(fù)權(quán)重；讀入新數(shù)據(jù)再正向傳播預(yù)測(cè)，再反向傳播修正，...，通過(guò)多次循環(huán)達(dá)到最小損失值，此時(shí)構(gòu)造的模型擁有最優(yōu)的參數(shù)組合。

以一個(gè)簡(jiǎn)單的BP神經(jīng)網(wǎng)絡(luò)為例，由3個(gè)輸入層，2層隱藏層，每層2個(gè)神經(jīng)元，1個(gè)輸出層組成。

【輸入層】傳入

【第一層隱藏層】

對(duì)于神經(jīng)元而言，傳入，加權(quán)求和加偏置激活函數(shù)處理后，輸出；

對(duì)于神經(jīng)元而言，傳入，加權(quán)求和加偏置函數(shù)處理后，輸出；

輸出：

【第二層隱藏層】

對(duì)于神經(jīng)元而言，傳入，加權(quán)求和加偏置激活函數(shù)處理后，輸出；

輸出：

【輸出層】

對(duì)于輸出層神經(jīng)元而言，輸入，加權(quán)求和加偏置激活函數(shù)處理后，輸出，輸出的是一個(gè)值

第一次運(yùn)行正向傳播這個(gè)流程時(shí)隨用隨機(jī)參數(shù)就好，通過(guò)反向傳播不斷優(yōu)化。因此需要在一開(kāi)始對(duì) 設(shè)置一個(gè)隨機(jī)的初始值。

首先計(jì)算正向傳播輸出值與實(shí)際值的損失，是一個(gè)數(shù)值。所謂反向是從右到左一步步來(lái)的，先回到，修正參數(shù) 。

以此類推，通過(guò)對(duì)損失函數(shù)求偏導(dǎo)跟新參數(shù) ，再跟新參數(shù) 。這時(shí)又回到了起點(diǎn)，新的數(shù)據(jù)傳入又可以開(kāi)始正向傳播了。

keras可以快速搭建神經(jīng)網(wǎng)絡(luò)，例如以下為輸入層包含7129個(gè)結(jié)點(diǎn)，一層隱藏層，包含128個(gè)結(jié)點(diǎn)，一個(gè)輸出層，是二分類模型。

神經(jīng)網(wǎng)絡(luò)反向傳播的優(yōu)化目標(biāo)為loss，可以觀察到loss的值在不斷的優(yōu)化。

可以通過(guò)model.get_layer().get_weights()獲得每一層訓(xùn)練后的參數(shù)結(jié)果。通過(guò)model.predict()預(yù)測(cè)新數(shù)據(jù)。

至此，BP神經(jīng)網(wǎng)絡(luò)的整個(gè)運(yùn)算流程已經(jīng)過(guò)了一遍。之前提到BP神經(jīng)網(wǎng)絡(luò)是為解決非線性問(wèn)題應(yīng)運(yùn)而生的，那么為什么BP神經(jīng)網(wǎng)絡(luò)可以解決非線性問(wèn)題呢？

還記得神經(jīng)元里有一個(gè)激活函數(shù)的操作嗎？神經(jīng)網(wǎng)絡(luò)通過(guò)激活函數(shù)的使用加入非線性因素。

通過(guò)使用非線性的激活函數(shù)可以使神經(jīng)網(wǎng)絡(luò)隨意逼近復(fù)雜函數(shù)，從而使BP神經(jīng)網(wǎng)絡(luò)既可以處理線性問(wèn)題，也可以處理非線性問(wèn)題。

為什么激活函數(shù)的使用可以加入非線性因素 [7] ？

其實(shí)邏輯回歸算法可以看作只有一個(gè)神經(jīng)元的單層神經(jīng)網(wǎng)絡(luò)，只對(duì)線性可分的數(shù)據(jù)進(jìn)行分類。

輸入?yún)?shù)，加權(quán)求和，sigmoid作為激活函數(shù)計(jì)算后輸出結(jié)果，模型預(yù)測(cè)值和實(shí)際值計(jì)算損失Loss,反向傳播梯度下降求編導(dǎo)，獲得最優(yōu)參數(shù)。

BP神經(jīng)網(wǎng)絡(luò)是比 Logistic Regression 復(fù)雜得多的模型，它的擬合能力很強(qiáng)，可以處理很多 Logistic Regression處理不了的數(shù)據(jù)，但是也更容易過(guò)擬合。

具體用什么算法還是要看訓(xùn)練數(shù)據(jù)的情況，沒(méi)有一種算法是使用所有情況的。

常見(jiàn)的前饋神經(jīng)網(wǎng)絡(luò)有BP網(wǎng)絡(luò)，RBF網(wǎng)絡(luò)等。

BP神經(jīng)網(wǎng)絡(luò)的一個(gè)主要問(wèn)題是：結(jié)構(gòu)不好設(shè)計(jì)。

網(wǎng)絡(luò)隱含層的層數(shù)和單元數(shù)的選擇尚無(wú)理論上的指導(dǎo)，一般是根據(jù)經(jīng)驗(yàn)或者通過(guò)反復(fù)實(shí)驗(yàn)確定。

但是BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)單、易行、計(jì)算量小、并行性強(qiáng)，目前仍是多層前向網(wǎng)絡(luò)的首選算法。

[1] 深度學(xué)習(xí)開(kāi)端---BP神經(jīng)網(wǎng)絡(luò)： https://blog.csdn.net/Chile_Wang/article/details/100557010

[2] BP神經(jīng)網(wǎng)絡(luò)發(fā)展歷史： https://zhuanlan.zhihu.com/p/47998728

[3] 最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)--Bp神經(jīng)網(wǎng)絡(luò)： https://blog.csdn.net/weixin_40432828/article/details/82192709

[4] 神經(jīng)網(wǎng)絡(luò)的基本概念： https://blog.csdn.net/jinyuan7708/article/details/82466653

[5] 神經(jīng)網(wǎng)絡(luò)中的 “隱藏層” 理解： https://blog.csdn.net/nanhuaibeian/article/details/100183000

[6] AI學(xué)習(xí)筆記：神經(jīng)元與神經(jīng)網(wǎng)絡(luò)： https://www.jianshu.com/p/65eb2fce0e9e

[7] 線性模型和非線性模型的區(qū)別： https://www.cnblogs.com/toone/p/8574294.html

[8] BP神經(jīng)網(wǎng)絡(luò)是否優(yōu)于logistic回歸： https://www.zhihu.com/question/27823925/answer/38460833

以上就是關(guān)于神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)相關(guān)問(wèn)題的回答。希望能幫到你，如有更多相關(guān)問(wèn)題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。