正文

線性回歸分析的定義（線性回歸分析的定義是）

發(fā)布時間：2023-04-13 22:11:55 稿源：創(chuàng)意嶺閱讀： 58

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于線性回歸分析的定義的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準，寫出的就越詳細，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、什么才是線性規(guī)劃，什么是線性回歸
2、回歸分析的認識及簡單運用
3、什么是線性回歸方程？
4、回歸分析是線性回歸嗎

線性回歸分析的定義（線性回歸分析的定義是）

一、什么才是線性規(guī)劃，什么是線性回歸

線性規(guī)劃（Linear programming,簡稱LP）是運籌學中研究較早、發(fā)展較快、應(yīng)用廣泛、方法較成熟的一個重要分支，它是輔助人們進行科學管理的一種數(shù)學方法。研究線性約束條件下線性目標函數(shù)的極值問題的數(shù)學理論和方法。英文縮寫LP。它是運籌學的一個重要分支，廣泛應(yīng)用于軍事作戰(zhàn)、經(jīng)濟分析、經(jīng)營管理和工程技術(shù)等方面。為合理地利用有限的人力、物力、財力等資源作出的最優(yōu)決策，提供科學的依據(jù)。

線性回歸

線性回歸，是利用數(shù)理統(tǒng)計中回歸分析，來確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計分析方法，運用十分廣泛。其表達形式為y = w'x+e，e為誤差服從均值為0的正態(tài)分布。

二、回歸分析的認識及簡單運用

回歸分析的認識及簡單運用

回歸分析（regression analysis)是確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計分析方法。運用十分廣泛，回歸分析按照涉及的自變量的多少，分為回歸和多重回歸分析；按照自變量的多少，可分為一元回歸分析和多元回歸分析；按照自變量和因變量之間的關(guān)系類型，可分為線性回歸分析和非線性回歸分析。如果在回歸分析中，只包括一個自變量和一個因變量，且二者的關(guān)系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個或兩個以上的自變量，且因變量和自變量之間是線性關(guān)系，則稱為多重線性回歸分析。

定義

回歸分析是應(yīng)用極其廣泛的數(shù)據(jù)分析方法之一。它基于觀測數(shù)據(jù)建立變量間適當?shù)囊蕾囮P(guān)系，以分析數(shù)據(jù)內(nèi)在規(guī)律，并可用于預(yù)報、控制等問題。

方差齊性

線性關(guān)系

效應(yīng)累加

變量無測量誤差

變量服從多元正態(tài)分布

觀察獨立

模型完整（沒有包含不該進入的變量、也沒有漏掉應(yīng)該進入的變量）

誤差項獨立且服從（0，1）正態(tài)分布。

現(xiàn)實數(shù)據(jù)常常不能完全符合上述假定。因此，統(tǒng)計學家研究出許多的回歸模型來解決線性回歸模型假定過程的約束。

研究一個或多個隨機變量Y1 ，Y2 ，…，Yi與另一些變量X1、X2，…，Xk之間的關(guān)系的統(tǒng)計方法，又稱多重回歸分析。通常稱Y1，Y2，…，Yi為因變量，X1、X2，…，Xk為自變量?；貧w分析是一類數(shù)學模型，特別當因變量和自變量為線性關(guān)系時，它是一種特殊的線性模型。最簡單的情形是一個自變量和一個因變量，且它們大體上有線性關(guān)系，這叫一元線性回歸，即模型為Y=a+bX+ε，這里X是自變量，Y是因變量，ε是隨機誤差，通常假定隨機誤差的均值為0，方差為σ^2（σ^2大于0）σ^2與X的值無關(guān)。若進一步假定隨機誤差遵從正態(tài)分布，就叫做正態(tài)線性模型。一般的情形，它有k個自變量和一個因變量，因變量的值可以分解為兩部分：一部分是由于自變量的影響，即表示為自變量的函數(shù)，其中函數(shù)形式已知，但含一些未知參數(shù)；另一部分是由于其他未被考慮的因素和隨機性的影響，即隨機誤差。當函數(shù)形式為未知參數(shù)的線性函數(shù)時，稱線性回歸分析模型；當函數(shù)形式為未知參數(shù)的非線性函數(shù)時，稱為非線性回歸分析模型。當自變量的個數(shù)大于1時稱為多元回歸，當因變量個數(shù)大于1時稱為多重回歸。

回歸分析的主要內(nèi)容為：

①從一組數(shù)據(jù)出發(fā)，確定某些變量之間的定量關(guān)系式，即建立數(shù)學模型并估計其中的未知參數(shù)。估計參數(shù)的常用方法是最小二乘法。

②對這些關(guān)系式的可信程度進行檢驗。

③在許多自變量共同影響著一個因變量的關(guān)系中，判斷哪個（或哪些）自變量的影響是顯著的，哪些自變量的影響是不顯著的，將影響顯著的自變量入模型中，而剔除影響不顯著的變量，通常用逐步回歸、向前回歸和向后回歸等方法。

④利用所求的關(guān)系式對某一生產(chǎn)過程進行預(yù)測或控制。回歸分析的應(yīng)用是非常廣泛的，統(tǒng)計軟件包使各種回歸方法計算十分方便。

在回歸分析中，把變量分為兩類。一類是因變量，它們通常是實際問題中所關(guān)心的一類指標，通常用Y表示；而影響因變量取值的的另一類變量稱為自變量，用X來表示。

回歸分析研究的主要問題是：

（1）確定Y與X間的定量關(guān)系表達式，這種表達式稱為回歸方程；

（2）對求得的回歸方程的可信度進行檢驗；

（3）判斷自變量X對因變量Y有無影響；

（4）利用所求得的回歸方程進行預(yù)測和控制。

回歸分析可以說是統(tǒng)計學中內(nèi)容最豐富、應(yīng)用最廣泛的分支。這一點幾乎不帶夸張。包括最簡單的t檢驗、方差分析也都可以歸到線性回歸的類別。而卡方檢驗也完全可以用logistic回歸代替。

眾多回歸的名稱張口即來的就有一大片，線性回歸、logistic回歸、cox回歸、poission回歸、probit回歸等等等等，可以一直說的你頭暈。為了讓大家對眾多回歸有一個清醒的認識，這里簡單地做一下總結(jié)：

1、線性回歸，這是我們學習統(tǒng)計學時最早接觸的回歸，就算其它的你都不明白，最起碼你一定要知道，線性回歸的因變量是連續(xù)變量，自變量可以是連續(xù)變量，也可以是分類變量。如果只有一個自變量，且只有兩類，那這個回歸就等同于t檢驗。如果只有一個自變量，且有三類或更多類，那這個回歸就等同于方差分析。如果有2個自變量，一個是連續(xù)變量，一個是分類變量，那這個回歸就等同于協(xié)方差分析。所以線性回歸一定要認準一點，因變量一定要是連續(xù)變量。

2、logistic回歸，與線性回歸并成為兩大回歸，應(yīng)用范圍一點不亞于線性回歸，甚至有青出于藍之勢。因為logistic回歸太好用了，而且太有實際意義了。解釋起來直接就可以說，如果具有某個危險因素，發(fā)病風險增加2.3倍，聽起來多么地讓人通俗易懂。線性回歸相比之下其實際意義就弱了。logistic回歸與線性回歸恰好相反，因變量一定要是分類變量，不可能是連續(xù)變量。分類變量既可以是二分類，也可以是多分類，多分類中既可以是有序，也可以是無序。二分類logistic回歸有時候根據(jù)研究目的又分為條件logistic回歸和非條件logistic回歸。條件logistic回歸用于配對資料的分析，非條件logistic回歸用于非配對資料的分析，也就是直接隨機抽樣的資料。無序多分類logistic回歸有時候也成為多項logit模型，有序logistic回歸有時也稱為累積比數(shù)logit模型。

3、cox回歸，cox回歸的因變量就有些特殊，因為他的因變量必須同時有2個，一個代表狀態(tài)，必須是分類變量，一個代表時間，應(yīng)該是連續(xù)變量。只有同時具有這兩個變量，才能用cox回歸分析。cox回歸主要用于生存資料的分析，生存資料至少有兩個結(jié)局變量，一是死亡狀態(tài)，是活著還是死亡？二是死亡時間，如果死亡，什么時間死亡？如果活著，從開始觀察到結(jié)束時有多久了？所以有了這兩個變量，就可以考慮用cox回歸分析。

4、poisson回歸，poisson回歸相比就不如前三個用的廣泛了。但實際上，如果你能用logistic回歸，通常也可以用poission回歸，poisson回歸的因變量是個數(shù)，也就是觀察一段時間后，發(fā)病了多少人？或者死亡了多少人？等等。其實跟logistic回歸差不多，因為logistic回歸的結(jié)局是是否發(fā)病，是否死亡，也需要用到發(fā)病例數(shù)、死亡例數(shù)。大家仔細想想，其實跟發(fā)病多少人，死亡多少人一個道理。只是poission回歸名氣不如logistic回歸大，所以用的人也不如logistic回歸多。但不要因此就覺得poisson回歸沒有用。

5、probit回歸，在醫(yī)學里真的是不大用，最關(guān)鍵的問題就是probit這個詞太難理解了，通常翻譯為概率單位。probit函數(shù)其實跟logistic函數(shù)十分接近，二者分析結(jié)果也十分接近?？上У氖?，probit回歸的實際含義真的不如logistic回歸容易理解，由此導致了它的默默無名，但據(jù)說在社會學領(lǐng)域用的似乎更多一些。

6、負二項回歸。所謂負二項指的是一種分布，其實跟poission回歸、logistic回歸有點類似，poission回歸用于服從poission分布的資料，logistic回歸用于服從二項分布的資料，負二項回歸用于服從負二項分布的資料。說起這些分布，大家就不愿意聽了，多么抽象的名詞，我也很頭疼。如果簡單點理解，二項分布你可以認為就是二分類數(shù)據(jù)，poission分布你可以認為是計數(shù)資料，也就是個數(shù)，而不是像身高等可能有小數(shù)點，個數(shù)是不可能有小數(shù)點的。負二項分布呢，也是個數(shù)，只不過比poission分布更苛刻，如果你的結(jié)局是個數(shù)，而且結(jié)局可能具有聚集性，那可能就是負二項分布。簡單舉例，如果調(diào)查流感的影響因素，結(jié)局當然是流感的例數(shù)，如果調(diào)查的人有的在同一個家庭里，由于流感具有傳染性，那么同一個家里如果一個人得流感，那其他人可能也被傳染，因此也得了流感，那這就是具有聚集性，這樣的數(shù)據(jù)盡管結(jié)果是個數(shù)，但由于具有聚集性，因此用poission回歸不一定合適，就可以考慮用負二項回歸。既然提到這個例子，用于logistic回歸的數(shù)據(jù)通常也能用poission回歸，就像上面案例，我們可以把結(jié)局作為二分類，每個人都有兩個狀態(tài)，得流感或者不得流感，這是個二分類結(jié)局，那就可以用logistic回歸。但是這里的數(shù)據(jù)存在聚集性怎么辦呢，幸虧logistic回歸之外又有了更多的擴展，你可以用多水平logistic回歸模型，也可以考慮廣義估計方程。這兩種方法都可以處理具有層次性或重復(fù)測量資料的二分類因變量。

7、weibull回歸，有時中文音譯為威布爾回歸。weibull回歸估計你可能就沒大聽說過了，其實這個名字只不過是個噱頭，嚇唬人而已。上一篇說過了，生存資料的分析常用的是cox回歸，這種回歸幾乎統(tǒng)治了整個生存分析。但其實夾縫中還有幾個方法在頑強生存著，而且其實很有生命力，只是國內(nèi)大多不愿用而已。weibull回歸就是其中之一。cox回歸為什么受歡迎呢，因為它簡單，用的時候不用考慮條件（除了等比例條件之外），大多數(shù)生存數(shù)據(jù)都可以用。而weibull回歸則有條件限制，用的時候數(shù)據(jù)必須符合weibull分布。怎么，又是分布？！估計大家頭又大了，是不是想直接不往下看了，還是用cox回歸吧。不過我還是建議看下去。為什么呢？相信大家都知道參數(shù)檢驗和非參數(shù)檢驗，而且可能更喜歡用參數(shù)檢驗，如t檢驗，而不喜歡用非參數(shù)檢驗，如秩和檢驗。那這里的weibull回歸和cox回歸基本上可以說是分別對應(yīng)參數(shù)檢驗和非參數(shù)檢驗。參數(shù)檢驗和非參數(shù)檢驗的優(yōu)缺點我也在前面文章里通俗介紹了，如果數(shù)據(jù)符合weibull分布，那么直接套用weibull回歸當然是最理想的選擇，他可以給出你最合理的估計。如果數(shù)據(jù)不符合weibull分布，那如果還用weibull回歸，那就套用錯誤，肯定結(jié)果也不會真實到哪兒去。所以說，如果你能判斷出你的數(shù)據(jù)是否符合weibull分布，那當然最好的使用參數(shù)回歸，也就是weibull回歸。但是如果你實在沒什么信心去判斷數(shù)據(jù)分布，那也可以老老實實地用cox回歸。cox回歸可以看作是非參數(shù)的，無論數(shù)據(jù)什么分布都能用，但正因為它什么數(shù)據(jù)都能用，所以不可避免地有個缺點，每個數(shù)據(jù)用的都不是恰到好處。weibull回歸就像是量體裁衣，把體形看做數(shù)據(jù)，衣服看做模型，weibull回歸就是根據(jù)你的體形做衣服，做出來的肯定對你正合身，對別人就不一定合身了。cox回歸呢，就像是到商場去買衣服，衣服對很多人都合適，但是對每個人都不是正合適，只能說是大致合適。至于到底是選擇麻煩的方式量體裁衣，還是圖簡單到商場直接去買現(xiàn)成的，那就根據(jù)你的喜好了，也根據(jù)你對自己體形的了解程度，如果非常熟悉，當然就量體裁衣了。如果不大了解，那就直接去商場買大眾化衣服吧。

8、主成分回歸。主成分回歸是一種合成的方法，相當于主成分分析與線性回歸的合成。主要用于解決自變量之間存在高度相關(guān)的情況。這在現(xiàn)實中不算少見。比如你要分析的自變量中同時有血壓值和血糖值，這兩個指標可能有一定的相關(guān)性，如果同時放入模型，會影響模型的穩(wěn)定，有時也會造成嚴重后果，比如結(jié)果跟實際嚴重不符。當然解決方法很多，最簡單的就是剔除掉其中一個，但如果你實在舍不得，畢竟這是辛辛苦苦調(diào)查上來的，刪了太可惜了。如果舍不得，那就可以考慮用主成分回歸，相當于把這兩個變量所包含的信息用一個變量來表示，這個變量我們稱它叫主成分，所以就叫主成分回歸。當然，用一個變量代替兩個變量，肯定不可能完全包含他們的信息，能包含80%或90%就不錯了。但有時候我們必須做出抉擇，你是要100%的信息，但是變量非常多的模型？還是要90%的信息，但是只有1個或2個變量的模型？打個比方，你要診斷感冒，是不是必須把所有跟感冒有關(guān)的癥狀以及檢查結(jié)果都做完？還是簡單根據(jù)幾個癥狀就大致判斷呢？我想根據(jù)幾個癥狀大致能能確定90%是感冒了。不用非得100%的信息不是嗎？模型也是一樣，模型是用于實際的，不是空中樓閣。既然要用于實際，那就要做到簡單。對于一種疾病，如果30個指標能夠100%確診，而3個指標可以診斷80%，我想大家會選擇3個指標的模型。這就是主成分回歸存在的基礎(chǔ)，用幾個簡單的變量把多個指標的信息綜合一下，這樣幾個簡單的主成分可能就包含了原來很多自變量的大部分信息。這就是主成分回歸的原理。

9、嶺回歸。嶺回歸的名稱由來我也沒有查過，可能是因為它的圖形有點像嶺。不要糾結(jié)于名稱。嶺回歸也是用于處理自變量之間高度相關(guān)的情形。只是跟主成分回歸的具體估計方法不同。線性回歸的計算用的是最小二乘估計法，當自變量之間高度相關(guān)時，最小二乘回歸估計的參數(shù)估計值會不穩(wěn)定，這時如果在公式里加點東西，讓它變得穩(wěn)定，那就解決了這一問題了。嶺回歸就是這個思想，把最小二乘估計里加個k，改變它的估計值，使估計結(jié)果變穩(wěn)定。至于k應(yīng)該多大呢？可以根據(jù)嶺跡圖來判斷，估計這就是嶺回歸名稱的由來。你可以選非常多的k值，可以做出一個嶺跡圖，看看這個圖在取哪個值的時候變穩(wěn)定了，那就確定k值了，然后整個參數(shù)估計不穩(wěn)定的問題就解決了。

10、偏最小二乘回歸。偏最小二乘回歸也可以用于解決自變量之間高度相關(guān)的問題。但比主成分回歸和嶺回歸更好的一個優(yōu)點是，偏最小二乘回歸可以用于例數(shù)很少的情形，甚至例數(shù)比自變量個數(shù)還少的情形。聽起來有點不可思議，不是說例數(shù)最好是自變量個數(shù)的10倍以上嗎？怎么可能例數(shù)比自變量還少，這還怎么計算？可惜的是，偏最小二乘回歸真的就有這么令人發(fā)指的優(yōu)點。所以，如果你的自變量之間高度相關(guān)、例數(shù)又特別少、而自變量又很多（這么多無奈的毛?。?，那就現(xiàn)在不用發(fā)愁了，用偏最小二乘回歸就可以了。它的原理其實跟主成分回歸有點像，也是提取自變量的部分信息，損失一定的精度，但保證模型更符合實際。因此這種方法不是直接用因變量和自變量分析，而是用反映因變量和自變量部分信息的新的綜合變量來分析，所以它不需要例數(shù)一定比自變量多。偏最小二乘回歸還有一個很大的優(yōu)點，那就是可以用于多個因變量的情形，普通的線性回歸都是只有一個因變量，而偏最小二乘回歸可用于多個因變量和多個自變量之間的分析。因為它的原理就是同時提取多個因變量和多個自變量的信息重新組成新的變量重新分析，所以多個因變量對它來說無所謂。

看了以上的講解，希望能對大家理解回歸分析的運用有些幫助。

以上是小編為大家分享的關(guān)于回歸分析的認識及簡單運用的相關(guān)內(nèi)容，更多信息可以關(guān)注環(huán)球青藤分享更多干貨

三、什么是線性回歸方程？

1、隨機誤差項是一個期望值或平均值為0的隨機變量；

2、對于解釋變量的所有觀測值，隨機誤差項有相同的方差；

3、隨機誤差項彼此不相關(guān)；

4、解釋變量是確定性變量，不是隨機變量，與隨機誤差項彼此之間相互獨立；

5、解釋變量之間不存在精確的（完全的）線性關(guān)系，即解釋變量的樣本觀測值矩陣是滿秩矩陣；

6、隨機誤差項服從正態(tài)分布。

線性回歸分析的定義（線性回歸分析的定義是）

擴展資料：

線性回歸方程是利用數(shù)理統(tǒng)計中的回歸分析，來確定兩種或兩種以上變數(shù)間相互依賴的定量關(guān)系的一種統(tǒng)計分析方法之一。線性回歸也是回歸分析中第一種經(jīng)過嚴格研究并在實際應(yīng)用中廣泛使用的類型。按自變量個數(shù)可分為一元線性回歸分析方程和多元線性回歸分析方程。

線性回歸有很多實際用途。分為以下兩大類：

1 如果目標是預(yù)測或者映射，線性回歸可以用來對觀測數(shù)據(jù)集的和X的值擬合出一個預(yù)測模型。當完成這樣一個模型以后，對于一個新增的X值，在沒有給定與它相配對的y的情況下，可以用這個擬合過的模型預(yù)測出一個y值。

2 給定一個變量y和一些變量X1,...,Xp，這些變量有可能與y相關(guān)，線性回歸分析可以用來量化y與Xj之間相關(guān)性的強度，評估出與y不相關(guān)的Xj，并識別出哪些Xj的子集包含了關(guān)于y的冗余信息。

參考資料：百度百科——線性回歸方程

四、回歸分析是線性回歸嗎

回歸分析是線性回歸。

線性回歸是利用數(shù)理統(tǒng)計中回歸分析，來確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計分析方法，運用十分廣泛。其表達形式為y = w'x+e，e為誤差服從均值為0的正態(tài)分布。

回歸分析中，只包括一個自變量和一個因變量，且二者的關(guān)系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個或兩個以上的自變量，且因變量和自變量之間是線性關(guān)系，則稱為多元線性回歸分析。

在統(tǒng)計學中，線性回歸（Linear Regression）是利用稱為線性回歸方程的最小平方函數(shù)對一個或多個自變量和因變量之間關(guān)系進行建模的一種回歸分析。這種函數(shù)是一個或多個稱為回歸系數(shù)的模型參數(shù)的線性組合。只有一個自變量的情況稱為簡單回歸，大于一個自變量情況的叫做多元回歸。

線性回歸分析的定義（線性回歸分析的定義是）

在線性回歸中，數(shù)據(jù)使用線性預(yù)測函數(shù)來建模，并且未知的模型參數(shù)也是通過數(shù)據(jù)來估計。這些模型被叫做線性模型。最常用的線性回歸建模是給定X值的y的條件均值是X的仿射函數(shù)。不太一般的情況，線性回歸模型可以是一個中位數(shù)或一些其他的給定X的條件下y的條件分布的分位數(shù)作為X的線性函數(shù)表示。

像所有形式的回歸分析一樣，線性回歸也把焦點放在給定X值的y的條件概率分布，而不是X和y的聯(lián)合概率分布（多元分析領(lǐng)域）。

線性回歸是回歸分析中第一種經(jīng)過嚴格研究并在實際應(yīng)用中廣泛使用的類型。這是因為線性依賴于其未知參數(shù)的模型比非線性依賴于其未知參數(shù)的模型更容易擬合，而且產(chǎn)生的估計的統(tǒng)計特性也更容易確定。

線性回歸模型經(jīng)常用最小二乘逼近來擬合，但他們也可能用別的方法來擬合，比如用最小化“擬合缺陷”在一些其他規(guī)范里（比如最小絕對誤差回歸），或者在橋回歸中最小化最小二乘損失函數(shù)的懲罰.相反,最小二乘逼近可以用來擬合那些非線性的模型.因此，盡管“最小二乘法”和“線性模型”是緊密相連的，但他們是不能劃等號的。

線性回歸分析的定義（線性回歸分析的定義是）