邏輯回歸是屬于什么算法（邏輯回歸是屬于什么算法的）

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于邏輯回歸是屬于什么算法的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

• 1、每個數(shù)據(jù)科學(xué)人都應(yīng)該知道的7種回歸技術(shù)

• 2、有監(jiān)督和無監(jiān)督的算法分別有哪些

• 3、邏輯回歸和線性回歸的區(qū)別是什么？

• 4、機(jī)器學(xué)習(xí)故事匯-邏輯回歸算法

一、每個數(shù)據(jù)科學(xué)人都應(yīng)該知道的7種回歸技術(shù)

介紹 線性回歸和邏輯回歸通常是人們在數(shù)據(jù)科學(xué)中學(xué)習(xí)的第一種算法。由于它們的受歡迎程度，許多分析師甚至認(rèn)為它們是唯一的回歸形式。哪兒些稍微有工作經(jīng)驗的人也會認(rèn)為它們是所有回歸分析形式的中最重要的。

事實是，有無數(shù)種形式的回歸可以使用。每種形式的回歸都有其自身的重要性和最適合應(yīng)用的特定場景。在本文中，我會以簡單的方式解釋了數(shù)據(jù)科學(xué)中最常用的7種回歸形式。通過這篇文章，我也希望人們能夠?qū)貧w的廣度有一個概念，而不是僅僅對他們遇到的每個問題應(yīng)都用線性/邏輯回歸，并希望他們能夠使用這么多的回歸技術(shù)！

如果您是數(shù)據(jù)科學(xué)的新手，并且正在尋找一個開始學(xué)習(xí)的地方，那么“ 數(shù)據(jù)科學(xué) ”課程是一個很好的起點！它涵蓋了Python，統(tǒng)計和預(yù)測建模的核心主題，它是你進(jìn)入數(shù)據(jù)科學(xué)的第一步的完美方法。

什么是回歸分析？

回歸分析是預(yù)測建模技術(shù)的一種技術(shù)，它研究依賴（目標(biāo)）和自變量（預(yù)測變量）之間的關(guān)系。該技術(shù)用于預(yù)測，時間序列建模和查找變量之間的因果關(guān)系。例如，通過回歸可以最好地研究魯莽駕駛與駕駛員發(fā)生道路交通事故數(shù)量之間的關(guān)系。

回歸分析是建模和分析數(shù)據(jù)的重要工具。在這里，我們將曲線/直線線擬合到數(shù)據(jù)點，使得數(shù)據(jù)點距曲線或直線的距離之間的差異最小化。我將在接下來的章節(jié)中詳細(xì)解釋這一點。

為什么我們使用回歸分析？

如上所述，回歸分析是估計兩個或更多變量之間的關(guān)系。讓我們通過一個簡單的例子來理解這一點：

比方說，你想根據(jù)當(dāng)前的經(jīng)濟(jì)狀況估算公司的銷售增長率。您有最近的公司數(shù)據(jù)表明銷售增長約為經(jīng)濟(jì)增長的2.5倍。利用這種洞察力，我們可以根據(jù)當(dāng)前和過去的信息預(yù)測公司的未來銷售情況。

使用回歸分析有許多好處。如下：

它表明因變量和自變量之間的顯著關(guān)系。 它表示多個自變量對一個因變量的影響強(qiáng)度。

回歸分析還允許我們比較不同尺度上測量的變量的影響，例如價格變化的影響和促銷活動的數(shù)量。這些優(yōu)勢有助于市場研究人員/數(shù)據(jù)分析師/數(shù)據(jù)科學(xué)家消除和評估用于構(gòu)建預(yù)測模型的最佳變量集。

我們有多少種回歸技術(shù)？

我們有各種各樣的回歸技術(shù)可用用于預(yù)測。這些技術(shù)主要由三個指標(biāo)（自變量的數(shù)量，因變量的類型和回歸線的形狀）驅(qū)動。我們將在以下部分詳細(xì)討論它們。

對于創(chuàng)造性的，如果您覺得需要使用上述參數(shù)的組合，您甚至可以制作新的回歸，以前人們沒有使用過。但在開始之前，讓我們了解最常用的回歸：

1.線性回歸

它是最廣為人知的建模技術(shù)之一。線性回歸通常是人們在學(xué)習(xí)預(yù)測建模時最先選擇的幾個方法之一。在該方法中，因變量是連續(xù)的，自變量可以是連續(xù)的或離散的，并且回歸線的性質(zhì)是線性的。

線性回歸使用最佳擬合直線（也稱為回歸線）在因變量（Y）和一個或多個自變量（X）之間建立關(guān)系。

它由方程Y = a + b * X + e表示，其中a是截距，b是直線的斜率，e是誤差項。該等式可以根據(jù)給定的預(yù)測變量預(yù)測目標(biāo)變量的值。

簡單線性回歸和多元線性回歸之間的區(qū)別在于，多元線性回歸具有（> 1）個獨立變量，而簡單線性回歸只有1個獨立變量?，F(xiàn)在的問題是“我們?nèi)绾潍@得最佳擬合線？”。

如何獲得最佳擬合線（a和b的值）？

這項任務(wù)可以通過最小二乘法輕松完成。它是用于擬合回歸線的最常用方法。它通過最小化每個數(shù)據(jù)點到直線的垂直偏差的平方和來計算觀測數(shù)據(jù)的最佳擬合線。因為偏差首先要平方，所以當(dāng)相加時，正值和負(fù)值之間不會抵消。

我們可以使用度量的R平方來評估模型性能 。

重點： 自變量和因變量之間必須存在線性關(guān)系 多元回歸存在多重共線性，自相關(guān)，異方差等問題。 線性回歸對異常值非常敏感。它可以極大地影響回歸線并最終影響預(yù)測值。 多重共線性可以增加系數(shù)估計的方差，并使估計對模型中的微小變化非常敏感。結(jié)果是系數(shù)估計不穩(wěn)定 在多個獨立變量的情況下，我們可以選擇正向選擇，逆向淘汰和逐步方法來選擇最重要的自變量。 2. 邏輯回歸

邏輯回歸方法用于查找事件成功的概率和失敗的概率。當(dāng)因變量本質(zhì)上是二進(jìn)制（0/1，真/假，是/否）時，我們應(yīng)該使用邏輯回歸。這里Y值的范圍從0到1，它可以用下面的等式表示。

odds = p /（1-p）=事件發(fā)生概率/非事件發(fā)生概率 ln（賠率）= ln（p /（1-p）） logit（p）= ln（p /（1-p））= b0 + b1X1 + b2X2 + b3X3 .... + bkXk

以上，p是存在感興趣特征的概率。這時候你應(yīng)該要問一個問題就是“為什么我們要在等式中使用對數(shù)log？”。

由于我們在這里使用的是二項分布（因變量），我們需要選擇最適合此分布的鏈接函數(shù)。而且，它是logit函數(shù)。在上面的等式中，選擇此參數(shù)是為了以最大化觀察樣本值的可能性，而不是最小化平方誤差的總和（如在普通回歸中一樣）。

重點： 它被廣泛用于分類問題 邏輯回歸不需要依賴因變量和自變量之間的線性關(guān)系。它可以處理各種類型的關(guān)系，因為它將非線性對數(shù)變換應(yīng)用于預(yù)測的優(yōu)勢比 為避免過度擬合和欠擬合，我們應(yīng)該包括所有重要的變量。確保這種做法的一個好方法是使用逐步方法來估計邏輯回歸 它需要較大樣本量，因為在樣本量較小時，最大似然估計的效率低于普通的最小二乘法 自變量不應(yīng)相互關(guān)聯(lián)，即不具有多重共線性。但是，我們可以選擇在分析和模型中包含分類變量的交互作用。 如果因變量的值是序數(shù)，那么它被稱為序數(shù)邏輯回歸 如果因變量是多類的，那么它被稱為多元邏輯回歸。 3.多項式回歸

如果自變量的冪大于1，則回歸方程是多項式回歸方程。下面的等式表示多項式方程：

Y = A + B * X ^ 2

在這種回歸技術(shù)中，最佳擬合線不是直線。它是一條與數(shù)據(jù)點吻合的曲線。

重點： 雖然可能存在擬合更高次多項式以獲得更低誤差的誘惑，但這可能會導(dǎo)致過度擬合。始終繪制關(guān)系圖以查看是否匹配，并專注于確保曲線符合問題的本質(zhì)。以下是繪圖如何幫助的示例： 特別注意的是末端的曲線，看看這些形狀和趨勢是否有意義。較高的多項式最終會產(chǎn)生奇怪的結(jié)果。 4.逐步回歸

當(dāng)我們處理多個自變量時，會使用這種形式的回歸。在這種技術(shù)中，自變量的選擇是在自動過程的幫助下完成的，這個過程是不需要人為的去進(jìn)行干預(yù)的。

通過觀察R方、t檢驗和AIC指標(biāo)等統(tǒng)計值來識別重要變量，可以實現(xiàn)這一壯舉。逐步回歸基本上適合回歸模型，通過基于指定的標(biāo)準(zhǔn)一次一個地添加/刪除協(xié)變量。下面列出了一些最常用的逐步回歸方法：

標(biāo)準(zhǔn)逐步回歸做兩件事。它根據(jù)每個步驟的需要添加和刪除預(yù)測變量。 正向選擇從模型中最重要的預(yù)測變量開始，并為每個步驟添加變量。 向后消除從模型中的所有預(yù)測變量開始，并刪除每個步驟的最不重要的變量。

該建模技術(shù)的目的是以最少的預(yù)測變量來最大化預(yù)測能力。它是處理數(shù)據(jù)集更高維度的方法之一。

5.嶺回歸

嶺回歸是一種在數(shù)據(jù)存在多重共線性（自變量高度相關(guān)）時使用的技術(shù)。在多重共線性中，即使最小二乘估計（OLS）是無偏的，但它們的方差也很大，這使得觀測值偏離真實值。通過在回歸估計中增加一定程度的偏差，嶺回歸可以減少標(biāo)準(zhǔn)誤差。

上面，我們看到了線性回歸的方程。還記得嘛？它可以表示為：

y = a + b * x

這個方程也有一個誤差項。完整的等式變?yōu)椋?

y = a + b * x + e（誤差項），[誤差項是校正觀測值和預(yù)測值之間預(yù)測誤差所需的值] 表示多個自變量，=> y = a + y = a + b1x1 + b2x2 + .... + e。

在線性方程中，預(yù)測誤差可以分解為兩個子分量。首先是由于偏差，第二是由于方差。由于這兩個或兩個組件中的任何一個，都可能發(fā)生預(yù)測錯誤。在這里，我們將討論由于方差引起的錯誤。

嶺回歸通過收縮參數(shù) λ（lambda）解決了多重共線性問題 ?？聪旅娴姆匠獭?

在這個方程中，我們有兩個組成部分。第一個是最小二乘項，另一個是β2 （β平方）總和的λ，其中β是系數(shù)。這被添加到最小二乘項，以便縮小參數(shù)以具有非常低的方差。

重點： 該回歸的假設(shè)與最小二乘回歸相同，但不假設(shè)正態(tài)性 它會縮小系數(shù)的值，但不會達(dá)到零，這表明沒有特征選擇功能 這是一種正則化方法，并使用l2正則化。 6.Lasso回歸

類似于嶺回歸，Lasso（最小絕對收縮和選擇算子）也會對回歸系數(shù)的絕對大小進(jìn)行限制。此外，它還能夠降低線性回歸模型的可變性并提高其準(zhǔn)確性。請看下面的方程：

Lasso回歸與嶺回歸的不同之處在于，它在懲罰函數(shù)中使用絕對值而不是平方。這導(dǎo)致懲罰（或等效地約束估計值的絕對值的總和）值，從而導(dǎo)致一些參數(shù)估計值恰好為零。應(yīng)用的懲罰越大，估計值就會縮小到絕對零值。這導(dǎo)致從給定的n個變量中進(jìn)行變量選擇。

重點： 該回歸的假設(shè)與最小二乘回歸相同，但不假設(shè)正態(tài)性 它將系數(shù)縮小到零（恰好為零），這肯定有助于特征選擇 這是一種正則化方法并使用l1正則化 如果預(yù)測變量高度相關(guān)，則Lasso僅選取其中一個并將其他預(yù)測縮減為零 7.彈性網(wǎng)絡(luò)回歸

彈性網(wǎng)絡(luò)回歸是Lasso回歸和嶺回歸技術(shù)的混合體。它使用L1和L2先驗作為正則化器進(jìn)行訓(xùn)練。當(dāng)存在多個相關(guān)的特征時，彈性網(wǎng)絡(luò)是很有用的。Lasso可能隨機(jī)選擇其中一種，而彈性網(wǎng)很可能同時選擇兩個。

在Lasso回歸和嶺回歸之間進(jìn)行權(quán)衡的一個實際優(yōu)勢是，它允許彈性網(wǎng)絡(luò)在旋轉(zhuǎn)下繼承嶺回歸的一些穩(wěn)定性。

重點： 在變量高度相關(guān)的情況下，它鼓勵群體效應(yīng) 所選變量的數(shù)量沒有限制 它會受到雙重收縮的影響 如何選擇正確的回歸模型？

當(dāng)你只知道一兩種技術(shù)時，生活通常是很簡單的。我所知道的其中一個培訓(xùn)機(jī)構(gòu)告訴他們的學(xué)生 - 如果結(jié)果是連續(xù)的 - 那就用線性回歸。如果是二進(jìn)制的 - 那就用邏輯回歸！但是，我們可以使用的選項數(shù)量越多，選擇正確的選項就越困難?；貧w模型也會發(fā)生類似的情況。

在多種類型的回歸模型中，基于自變量和因變量的類型，數(shù)據(jù)中的維度以及數(shù)據(jù)的其他基本特征來選擇最適合的回歸方法是很重要的。以下是應(yīng)該選擇正確的回歸模型的關(guān)鍵因素：

數(shù)據(jù)挖掘是構(gòu)建預(yù)測模型的必然部分。在選擇正確的模型之前，應(yīng)該首先確定變量之間的相關(guān)系數(shù)和影響 為了比較不同模型的擬合優(yōu)度，我們可以分析不同的指標(biāo)，如參數(shù)的統(tǒng)計顯著性，R方，調(diào)整后的R方，AIC指標(biāo)，BIC指標(biāo)和誤差項。另一個是Mallow的Cp標(biāo)準(zhǔn)。這基本上通過將模型與所有可能的子模型（仔細(xì)選擇它們）進(jìn)行比較，來檢查模型中可能存在的偏差。 交叉驗證是評估用于預(yù)測的模型的最佳方式。在這里，可以將數(shù)據(jù)集分為兩組（訓(xùn)練和驗證）。觀測值和預(yù)測值之間的簡單均方差可以衡量預(yù)測的準(zhǔn)確性。 如果你的數(shù)據(jù)集有多個混淆變量，則不應(yīng)選擇自動模型選擇方法，因為你不會希望同時將它們放在模型中。 這也取決于你的目標(biāo)。與具有高度統(tǒng)計意義的模型相比，功能較弱的模型更容易實現(xiàn)。 回歸正則化方法（Lasso回歸，嶺回歸和彈性網(wǎng)絡(luò)回歸）在數(shù)據(jù)集中各變量之間具有高維度和多重共線性的情況下運(yùn)行良好。 結(jié)束語

到現(xiàn)在為止，我希望你已經(jīng)對回歸有所了解。考慮數(shù)據(jù)條件來應(yīng)用這些回歸技術(shù)。找出使用哪種技術(shù)的最佳技巧之一就是檢查變量族，即離散變量還是連續(xù)變量。

在本文中，我討論了7種類型的回歸以及與每種技術(shù)相關(guān)的一些關(guān)鍵事實。作為這個行業(yè)的新人，我建議你學(xué)習(xí)這些技術(shù)，然后在你的模型中實現(xiàn)它們。

-以上就是作者推薦的七種數(shù)據(jù)科學(xué)人必知必會的七種回歸模型，如果大家對這七種模型感興趣，那就自己動手去實驗一下吧，只知道理論是不夠的，要多動手實驗，才能真正的掌握這些模型。

7 Types of Regression Techniques you should know!

二、有監(jiān)督和無監(jiān)督的算法分別有哪些

有監(jiān)督學(xué)習(xí)算法：

線性回歸（Linear Regression）

邏輯回歸（Logistic Regression）

決策樹（Decision Tree）

支持向量機(jī)（Support Vector Machine，SVM）

K近鄰（K-Nearest Neighbors，KNN）

神經(jīng)網(wǎng)絡(luò)（Neural Networks）

隨機(jī)森林（Random Forest）

梯度提升樹（Gradient Boosting Tree）

貝葉斯分類器（Naive Bayes）

集成學(xué)習(xí)（Ensemble Learning）

無監(jiān)督學(xué)習(xí)算法：

聚類分析（Cluster Analysis）

關(guān)聯(lián)規(guī)則挖掘（Association Rule Mining）

主成分分析（Principal Component Analysis，PCA）

獨立成分分析（Independent Component Analysis，ICA）

降維（Dimensionality Reduction）

奇異值分解（Singular Value Decomposition，SVD）

非負(fù)矩陣分解（Non-negative Matrix Factorization，NMF）

概率圖模型（Probabilistic Graphical Models）

三、邏輯回歸和線性回歸的區(qū)別是什么？

一、性質(zhì)不同

1、邏輯回歸：是一種廣義的線性回歸分析模型。

2、線性回歸：利用數(shù)理統(tǒng)計中回歸分析，來確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計分析方法。

二、應(yīng)用不同

1、邏輯回歸：常用于數(shù)據(jù)挖掘，疾病自動診斷，經(jīng)濟(jì)預(yù)測等領(lǐng)域。

2、線性回歸：常運(yùn)用于數(shù)學(xué)、金融、趨勢線、經(jīng)濟(jì)學(xué)等領(lǐng)域。

擴(kuò)展資料：

線性回歸的特征：

回歸分析中有多個自變量：這里有一個原則問題，這些自變量的重要性，究竟誰是最重要，誰是比較重要，誰是不重要。所以，spss線性回歸有一個和逐步判別分析的等價的設(shè)置。

原理：是F檢驗。spss中的操作是“分析”～“回歸”～“線性”主對話框方法框中需先選定“逐步”方法～“選項”子對話框

如果是選擇“用F檢驗的概率值”，越小代表這個變量越容易進(jìn)入方程。原因是這個變量的F檢驗的概率小，說明它顯著，也就是這個變量對回歸方程的貢獻(xiàn)越大，進(jìn)一步說就是該變量被引入回歸方程的資格越大。

參考資料來源：百度百科-線性回歸

參考資料來源：百度百科-邏輯回歸

四、機(jī)器學(xué)習(xí)故事匯-邏輯回歸算法

機(jī)器學(xué)習(xí)故事匯-邏輯回歸算法

今天我們要來討論的一個分類算法-邏輯回歸（你有沒有搞錯，這不還是回歸嗎，雖然名字帶上了回歸其實它是一個非常實用的分類算法）。，適合對數(shù)學(xué)很頭疼的同學(xué)們，小板凳走起！

先來吹一吹邏輯回歸的應(yīng)用，基本上所有的機(jī)器學(xué)習(xí)分類問題都可以使用邏輯回歸來求解，當(dāng)前拿到一份數(shù)據(jù)想做一個分類任務(wù)的時候第一手準(zhǔn)備一定要拿邏輯回歸來嘗試（雖然有很多復(fù)雜的模型比如神經(jīng)網(wǎng)絡(luò)，支持向量機(jī)的名氣更大，但是邏輯回歸卻更接地氣，用的最多的還是它）！在機(jī)器學(xué)習(xí)中無論是算法的推導(dǎo)還是實際的應(yīng)用一直有這樣的一種思想，如果一個問題能用簡單的算法去解決那么絕對沒必要去套用復(fù)雜的模型。

在邏輯回歸中最核心的概念就是Sigmoid函數(shù)了，首先我們先來觀察一下它的自變量取值范圍以及值域，自變量可以是任何實數(shù)（這沒啥特別的?。┑俏覀冇^察值域的范圍是[0,1]也就是任意的一個輸入都會映射到[0,1]的區(qū)間上，我們來想一想這個區(qū)間有什么特別的含義嗎？在我們做分類任務(wù)的時候一般我都都會認(rèn)為一個數(shù)據(jù)來了它要么是0要么是1（只考慮二分類問題），我們其實可以更細(xì)致一點得出來它是0或者1的可能性有多大，由此我們就得出了一個輸入屬于某一個類別的概率值，這個[0,1]不就恰好是這個概率嗎！

在這里我們的預(yù)測函數(shù)還是跟線性回歸沒有多大差別，只不過我們將結(jié)果又輸入到Sigmoid函數(shù)中，這樣得到了數(shù)據(jù)屬于類別的概率值。在推導(dǎo)過程中，我們假定分類是兩個類別的（邏輯回歸是經(jīng)典的而分類器）。設(shè)定y（標(biāo)簽）要么取0要么取1，這樣就可以把兩個類別進(jìn)行整合，得到一個更直觀的表達(dá)。

對于邏輯回歸的求解，已然沿用我們上次跟大家討論的梯度下降算法。給出似然函數(shù)，轉(zhuǎn)換對數(shù)似然（跟線性回歸一致），但是我們現(xiàn)在的優(yōu)化目標(biāo)卻跟之前不太一樣了，線性回歸的時候我們要求解的是最小值（最小二乘法），但是現(xiàn)在我們想得到的卻是使得該事件發(fā)生得最大值，為了沿用梯度下降來求解，可以做一個簡單的轉(zhuǎn)換添加一個負(fù)號以及一個常數(shù)很簡單的兩步就可以把原始問題依然轉(zhuǎn)換成梯度下降可以求解的問題。

此處求導(dǎo)過程看起來有些長，但也都是非常非常基本的運(yùn)算了，感興趣拿起一支筆來實際算算吧！

最終就是參數(shù)更新了，迭代更新是機(jī)器學(xué)習(xí)的常規(guī)套路了。但是我們來簡單想一想另外的一個問題，現(xiàn)在我們說的邏輯回歸是一個二分類算法，那如果我的實際問題是一個多分類該怎么辦呢？這個時候就需要Softmax啦，引入了歸一化機(jī)制，來將得分值映射成概率值。

最后一句話總結(jié)一下吧，任何時候（沒錯就是這么狠）當(dāng)我們一個實際任務(wù)來了，第一個算法就是邏輯回歸啦，可以把它當(dāng)成我們的基礎(chǔ)模型，然后不斷改進(jìn)對比！

以上就是關(guān)于邏輯回歸是屬于什么算法相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會為您講解更多精彩的知識和內(nèi)容。

推薦閱讀：

信息流跑量是什么意思（信息流跑量邏輯）

朋友圈廣告的收費(fèi)邏輯是什么（朋友圈廣告的收費(fèi)標(biāo)準(zhǔn)）

vi設(shè)計思維導(dǎo)圖（vi設(shè)計思維導(dǎo)圖邏輯書籍）

抖音代運(yùn)營公司北京（抖音代運(yùn)營公司北京地址）

公園里的風(fēng)景畫一幅畫（公園里的風(fēng)景畫一幅畫句子）