正文

神經(jīng)網(wǎng)絡(luò)的分類（神經(jīng)網(wǎng)絡(luò)的分類及特點(diǎn)）

發(fā)布時間：2023-04-14 13:28:47 稿源：創(chuàng)意嶺閱讀： 57

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于神經(jīng)網(wǎng)絡(luò)的分類的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、神經(jīng)網(wǎng)絡(luò)（Neural Network）
2、神經(jīng)網(wǎng)絡(luò)是什么？
3、神經(jīng)網(wǎng)絡(luò)的種類有那些，主要區(qū)別是什么？
4、神經(jīng)網(wǎng)絡(luò)包括卷積層，還包括哪些層

神經(jīng)網(wǎng)絡(luò)的分類（神經(jīng)網(wǎng)絡(luò)的分類及特點(diǎn)）

一、神經(jīng)網(wǎng)絡(luò)（Neural Network）

（1）結(jié)構(gòu)：許多樹突（dendrite）用于輸入，一個軸突（axon）用于輸出。

（2）特性：興奮性和傳導(dǎo)性。興奮性是指當(dāng)信號量超過某個閾值時，細(xì)胞體就會被激活，產(chǎn)生電脈沖。傳導(dǎo)性是指電脈沖沿著軸突并通過突觸傳遞到其它神經(jīng)元。

（3）有兩種狀態(tài)的機(jī)器：激活時為“是”，不激活時為“否”。神經(jīng)細(xì)胞的狀態(tài)取決于從其他神經(jīng)細(xì)胞接收到的信號量，以及突觸的性質(zhì)（抑制或加強(qiáng)）。

（1）神經(jīng)元——不重要

① 神經(jīng)元是包含權(quán)重和偏置項的函數(shù) ：接收數(shù)據(jù)后，執(zhí)行一些計算，然后使用激活函數(shù)將數(shù)據(jù)限制在一個范圍內(nèi)（多數(shù)情況下）。

② 單個神經(jīng)元：線性可分的情況下，本質(zhì)是一條直線，，這條直線將數(shù)據(jù)劃分為兩類。而線性分類器本身就是一個單層神經(jīng)網(wǎng)絡(luò)。

③ 神經(jīng)網(wǎng)絡(luò)：非線性可分的情況下，神經(jīng)網(wǎng)絡(luò)通過多個隱層的方法來實(shí)現(xiàn)非線性的函數(shù)。

（2）權(quán)重/參數(shù)/連接（Weight）——最重要

每一個連接上都有一個權(quán)重。一個神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法就是讓權(quán)重的值調(diào)整到最佳，以使得整個網(wǎng)絡(luò)的預(yù)測效果最好。

（3）偏置項（Bias Units）——必須

① 如果沒有偏置項，所有的函數(shù)都會經(jīng)過原點(diǎn)。

② 正則化偏置會導(dǎo)致欠擬合：若對偏置正則化，會導(dǎo)致激活變得更加簡單，偏差就會上升，學(xué)習(xí)的能力就會下降。

③ 偏置的大小度量了神經(jīng)元產(chǎn)生激勵（激活）的難易程度。

（1）定義：也稱為轉(zhuǎn)換函數(shù)，是一種將輸入 (input) 轉(zhuǎn)成輸出 (output) 的函數(shù)。

（2）作用：一般直線擬合的精確度要比曲線差很多，引入激活函數(shù)能給神經(jīng)網(wǎng)絡(luò) 增加一些非線性的特性。

（3）性質(zhì)：

① 非線性：導(dǎo)數(shù)不是常數(shù)，否則就退化成直線。對于一些畫一條直線仍然無法分開的問題，非線性可以把直線變彎，就能包羅萬象；

② 可微性：當(dāng)優(yōu)化方法是基于梯度的時候，處處可導(dǎo)為后向傳播算法提供了核心條件；

③ 輸出范圍：一般限定在[0,1]，使得神經(jīng)元對一些比較大的輸入會比較穩(wěn)定；

④ 非飽和性：飽和就是指，當(dāng)輸入比較大的時候輸出幾乎沒變化，會導(dǎo)致梯度消失；

⑤ 單調(diào)性：導(dǎo)數(shù)符號不變，輸出不會上躥下跳，讓神經(jīng)網(wǎng)絡(luò)訓(xùn)練容易收斂。

（1）線性函數(shù) (linear function)—— purelin()

（2）符號函數(shù) (sign function)—— hardlim()

① 如果z值高于閾值，則激活設(shè)置為1或yes，神經(jīng)元將被激活。

② 如果z值低于閾值，則激活設(shè)置為0或no，神經(jīng)元不會被激活。

（3）對率函數(shù) (sigmoid function)—— logsig()

① 優(yōu)點(diǎn)：光滑S型曲線連續(xù)可導(dǎo)，函數(shù)閾值有上限。

② 缺點(diǎn)：❶ 函數(shù)飽和使梯度消失，兩端梯度幾乎為0，更新困難，做不深；

❷ 輸出不是0中心，將影響梯度下降的運(yùn)作，收斂異常慢；

❸ 冪運(yùn)算相對來講比較耗時

（4）雙曲正切函數(shù)(hyperbolic tangent function)—— tansig()

① 優(yōu)點(diǎn)：取值范圍0中心化，防止了梯度偏差

② 缺點(diǎn)：梯度消失現(xiàn)象依然存在，但相對于sigmoid函數(shù)問題較輕

（5）整流線性單元 ReLU 函數(shù)(rectified linear unit)

① 優(yōu)點(diǎn)：❶ 分段線性函數(shù)，它的非線性性很弱，因此網(wǎng)絡(luò)做得很深；

❷ 由于它的線性、非飽和性，對于隨機(jī)梯度下降的收斂有巨大的加速作用；

② 缺點(diǎn)：❶ 當(dāng)x<0，梯度都變成0，參數(shù)無法更新，也導(dǎo)致了數(shù)據(jù)多樣化的丟失；

❷ 輸出不是0中心

（6）滲漏型整流線性單元激活函數(shù) Leaky ReLU 函數(shù)

① 優(yōu)點(diǎn)：❶ 是為解決“ReLU死亡”問題的嘗試，在計算導(dǎo)數(shù)時允許較小的梯度；

❷ 非飽和的公式，不包含指數(shù)運(yùn)算，計算速度快。

② 缺點(diǎn)：❶ 無法避免梯度爆炸問題；（沒有體現(xiàn)優(yōu)于ReLU）

❷ 神經(jīng)網(wǎng)絡(luò)不學(xué)習(xí) α 值。

（7）指數(shù)線性單元 ELU (Exponential Linear Units)

① 優(yōu)點(diǎn)：❶ 能避免“死亡 ReLU” 問題；

❷ 能得到負(fù)值輸出，這能幫助網(wǎng)絡(luò)向正確的方向推動權(quán)重和偏置變化；

❸ 在計算梯度時能得到激活，而不是讓它們等于 0。

② 缺點(diǎn)：❶ 由于包含指數(shù)運(yùn)算，所以計算時間更長；

❷ 無法避免梯度爆炸問題；（沒有體現(xiàn)優(yōu)于ReLU）

❸ 神經(jīng)網(wǎng)絡(luò)不學(xué)習(xí) α 值。

（8）Maxout（對 ReLU 和 Leaky ReLU的一般化歸納）

① 優(yōu)點(diǎn)：❶ 擁有ReLU的所有優(yōu)點(diǎn)（線性和不飽和）

❷ 沒有ReLU的缺點(diǎn)（死亡的ReLU單元）

❸ 可以擬合任意凸函數(shù)

② 缺點(diǎn) ：參數(shù)數(shù)量增加了一倍。難訓(xùn)練，容易過擬合

（9）Swish

① 優(yōu)點(diǎn)：❶ 在負(fù)半軸也有一定的不飽和區(qū)，參數(shù)的利用率更大

❷ 無上界有下界、平滑、非單調(diào)

❸ 在深層模型上的效果優(yōu)于 ReLU

每個層都包含一定數(shù)量的單元（units）。增加層可增加神經(jīng)網(wǎng)絡(luò)輸出的非線性。

（1）輸入層：就是接收原始數(shù)據(jù)，然后往隱層送

（2）輸出層：神經(jīng)網(wǎng)絡(luò)的決策輸出

（3）隱藏層：神經(jīng)網(wǎng)絡(luò)的關(guān)鍵。把前一層的向量變成新的向量，讓數(shù)據(jù)變得線性可分。

（1）結(jié)構(gòu)：僅包含輸入層和輸出層，直接相連。

（2）作用：僅能表示線性可分函數(shù)或決策，且一定可以在有限的迭代次數(shù)中收斂。

（3）局限：可以建立與門、或門、非門等，但無法建立更為復(fù)雜的異或門（XOR），即兩個輸入相同時輸出1，否則輸出0。（“AI winter”）

（1）目的：擬合某個函數(shù) （兩層神經(jīng)網(wǎng)絡(luò)可以逼近任意連續(xù)函數(shù)）

（2）結(jié)構(gòu)：包含輸入層、隱藏層和輸出層，由于從輸入到輸出的過程中不存在與模型自身的反饋連接，因此被稱為“前饋”。（層與層之間全連接）

（3）作用：非線性分類、聚類、預(yù)測等，通過訓(xùn)練，可以學(xué)習(xí)到數(shù)據(jù)中隱含的知識。

（4）局限：計算復(fù)雜、計算速度慢、容易陷入局部最優(yōu)解，通常要將它們與其他網(wǎng)絡(luò)結(jié)合形成新的網(wǎng)絡(luò)。

（5）前向傳播算法（Forward Propagation）

① 方法：從左至右逐級依賴的算法模型，即網(wǎng)絡(luò)如何根據(jù)輸入X得到輸出Y，最終的輸出值和樣本值作比較，計算出誤差。

② 目的：完成了一次正反向傳播，就完成了一次神經(jīng)網(wǎng)絡(luò)的訓(xùn)練迭代。通過輸出層的誤差，快速求解對每個ω、b的偏導(dǎo)，利用梯度下降法，使Loss越來越小。

② 局限：為使最終的誤差達(dá)到最小，要不斷修改參數(shù)值，但神經(jīng)網(wǎng)絡(luò)的每條連接線上都有不同權(quán)重參數(shù)，修改這些參數(shù)變得棘手。

（6）誤差反向傳播（Back Propagation）

① 原理：梯度下降法求局部極值

② 方法：從后往前，從輸出層開始計算 L 對當(dāng)前層的微分，獲得各層的誤差信號，此誤差信號即作為修正單元權(quán)值的依據(jù)。計算結(jié)束以后，所要的兩個參數(shù)矩陣的梯度就都有了。

③ 局限：如果激活函數(shù)是飽和的，帶來的缺陷就是系統(tǒng)迭代更新變慢，系統(tǒng)收斂就慢，當(dāng)然這是可以有辦法彌補(bǔ)的，一種方法是使用交叉熵函數(shù) 作為損失函數(shù)。

（1）原理：隨著網(wǎng)絡(luò)的層數(shù)增加，每一層對于前一層次的抽象表示更深入。在神經(jīng)網(wǎng)絡(luò)中，每一層神經(jīng)元學(xué)習(xí)到的是前一層神經(jīng)元值的更抽象的表示。通過抽取更抽象的特征來對事物進(jìn)行區(qū)分，從而獲得更好的區(qū)分與分類能力。

（2）方法：ReLU函數(shù)在訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)時，更容易收斂，并且預(yù)測性能更好。

（3）優(yōu)點(diǎn)：① 易于構(gòu)建，表達(dá)能力強(qiáng)，基本單元便可擴(kuò)展為復(fù)雜的非線性函數(shù)

② 并行性號，有利于在分布是系統(tǒng)上應(yīng)用

（4）局限：① 優(yōu)化算法只能獲得局部極值，性能與初始值相關(guān)

② 調(diào)參理論性缺乏

③ 不可解釋，與實(shí)際任務(wù)關(guān)聯(lián)性模糊

（1）原理：由手工設(shè)計卷積核變成自動學(xué)習(xí)卷積核

（2）卷積（Convolutional layer）：輸入與卷積核相乘再累加（內(nèi)積、加權(quán)疊加）

① 公式：

② 目的：提取輸入的不同特征，得到維度很大的特征圖（feature map）

③ 卷積核：需要訓(xùn)練的參數(shù)。一般為奇數(shù)維，有中心像素點(diǎn)，便于定位卷積核

④ 特點(diǎn)：局部感知、參數(shù)變少、權(quán)重共享、分層提取

（3）池化（Pooling Layer）：用更高層的抽象表達(dá)來表示主要特征，又稱“降采樣”

① 分類：最大（出現(xiàn)與否）、平均（保留整體）、隨機(jī)（避免過擬合）

② 目的：降維，不需要訓(xùn)練參數(shù)，得到新的、維度較小的特征

（4）步長（stride）：若假設(shè)輸入大小是n∗n，卷積核的大小是f∗f，步長是s，則最后的feature map的大小為o∗o，其中

（5）填充（zero-padding）

① Full模式：即從卷積核（fileter）和輸入剛相交開始做卷積，沒有元素的部分做補(bǔ)0操作。

② Valid模式：卷積核和輸入完全相交開始做卷積，這種模式不需要補(bǔ)0。

③ Same模式：當(dāng)卷積核的中心C和輸入開始相交時做卷積。沒有元素的部分做補(bǔ)0操作。

（7）激活函數(shù)：加入非線性特征

（8）全連接層（Fully-connected layer）

如果說卷積層、池化層和激活函數(shù)層等是將原始數(shù)據(jù)映射到隱層特征空間（決定計算速度），全連接層則起到將學(xué)到的“分布式特征表示”映射到樣本標(biāo)記空間的作用（決定參數(shù)個數(shù)）。

參考：

[1] 神經(jīng)網(wǎng)絡(luò)（入門最詳細(xì)）_ruthy的博客-CSDN博客_神經(jīng)網(wǎng)絡(luò)算法入門

[2] 神經(jīng)網(wǎng)絡(luò)（容易被忽視的基礎(chǔ)知識） - Evan的文章 - 知乎

[3] 人工神經(jīng)網(wǎng)絡(luò)——王的機(jī)器

[4] 如何簡單形象又有趣地講解神經(jīng)網(wǎng)絡(luò)是什么？ - 舒小曼的回答 - 知乎

[5] 神經(jīng)網(wǎng)絡(luò)15分鐘入門！足夠通俗易懂了吧 - Mr.括號的文章 - 知乎

[6] 神經(jīng)網(wǎng)絡(luò)——最易懂最清晰的一篇文章_illikang的博客-CSDN博客_神經(jīng)網(wǎng)絡(luò)

[7] 直覺化深度學(xué)習(xí)教程——什么是前向傳播——CSDN

[8] “反向傳播算法”過程及公式推導(dǎo)（超直觀好懂的Backpropagation）_aift的專欄-CSDN

[9] 卷積、反卷積、池化、反池化——CSDN

[10] 浙大機(jī)器學(xué)習(xí)課程- bilibili.com

二、神經(jīng)網(wǎng)絡(luò)是什么？

神經(jīng)網(wǎng)絡(luò)可以指向兩種，一個是生物神經(jīng)網(wǎng)絡(luò)，一個是人工神經(jīng)網(wǎng)絡(luò)。

生物神經(jīng)網(wǎng)絡(luò)：一般指生物的大腦神經(jīng)元，細(xì)胞，觸點(diǎn)等組成的網(wǎng)絡(luò)，用于產(chǎn)生生物的意識，幫助生物進(jìn)行思考和行動。

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，簡寫為ANNs）也簡稱為神經(jīng)網(wǎng)絡(luò)（NNs）或稱作連接模型（Connection Model），它是一種模仿動物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。

人工神經(jīng)網(wǎng)絡(luò)：是一種應(yīng)用類似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué)模型。在工程與學(xué)術(shù)界也常直接簡稱為“神經(jīng)網(wǎng)絡(luò)”或類神經(jīng)網(wǎng)絡(luò)。

神經(jīng)網(wǎng)絡(luò)的分類（神經(jīng)網(wǎng)絡(luò)的分類及特點(diǎn)）

三、神經(jīng)網(wǎng)絡(luò)的種類有那些，主要區(qū)別是什么？

BP網(wǎng)絡(luò)，徑向基網(wǎng)絡(luò)，遞歸網(wǎng)絡(luò)，主要區(qū)別在反饋函數(shù)。

四、神經(jīng)網(wǎng)絡(luò)包括卷積層，還包括哪些層

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）是一種前饋神經(jīng)網(wǎng)絡(luò)，它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元，對于大型圖像處理有出色表現(xiàn)。[1] 它包括卷積層(alternating convolutional layer)和池層(pooling layer)。

卷積神經(jīng)網(wǎng)絡(luò)是近年發(fā)展起來，并引起廣泛重視的一種高效識別方法。20世紀(jì)60年代，Hubel和Wiesel在研究貓腦皮層中用于局部敏感和方向選擇的神經(jīng)元時發(fā)現(xiàn)其獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu)可以有效地降低反饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，繼而提出了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks-簡稱CNN）?，F(xiàn)在，CNN已經(jīng)成為眾多科學(xué)領(lǐng)域的研究熱點(diǎn)之一，特別是在模式分類領(lǐng)域，由于該網(wǎng)絡(luò)避免了對圖像的復(fù)雜前期預(yù)處理，可以直接輸入原始圖像，因而得到了更為廣泛的應(yīng)用。 K.Fukushima在1980年提出的新識別機(jī)是卷積神經(jīng)網(wǎng)絡(luò)的第一個實(shí)現(xiàn)網(wǎng)絡(luò)。隨后，更多的科研工作者對該網(wǎng)絡(luò)進(jìn)行了改進(jìn)。其中，具有代表性的研究成果是Alexander和Taylor提出的“改進(jìn)認(rèn)知機(jī)”，該方法綜合了各種改進(jìn)方法的優(yōu)點(diǎn)并避免了耗時的誤差反向傳播。

以上就是關(guān)于神經(jīng)網(wǎng)絡(luò)的分類相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會為您講解更多精彩的知識和內(nèi)容。