正文

單目標(biāo)優(yōu)化模型的算法（單目標(biāo)優(yōu)化模型求解）

發(fā)布時(shí)間：2023-04-22 04:14:18 稿源：創(chuàng)意嶺閱讀： 59

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于單目標(biāo)優(yōu)化模型的算法的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、幾種常用最優(yōu)化方法
2、優(yōu)化算法筆記（二）優(yōu)化算法的分類
3、結(jié)構(gòu)優(yōu)化的目標(biāo)，優(yōu)化方法，優(yōu)化算法哪些，及實(shí)現(xiàn)流程
4、數(shù)學(xué)建模常用模型及算法

單目標(biāo)優(yōu)化模型的算法（單目標(biāo)優(yōu)化模型求解）

一、幾種常用最優(yōu)化方法

學(xué)習(xí)和工作中遇到的大多問題都可以建模成一種最優(yōu)化模型進(jìn)行求解，比如我們現(xiàn)在學(xué)習(xí)的機(jī)器學(xué)習(xí)算法，大部分的機(jī)器學(xué)習(xí)算法的本質(zhì)都是建立優(yōu)化模型，通過最優(yōu)化方法對目標(biāo)函數(shù)（或損失函數(shù)）進(jìn)行優(yōu)化，從而訓(xùn)練出最好的模型。常見的優(yōu)化方法(optimization)有梯度下降法、牛頓法和擬牛頓法、共軛梯度法等等。

1. 梯度下降法（Gradient Descent）

梯度下降法是最早最簡單，也是最為常用的最優(yōu)化方法。梯度下降法實(shí)現(xiàn)簡單，當(dāng)目標(biāo)函數(shù)是凸函數(shù)時(shí)，梯度下降法的解是全局解。一般情況下，其解不保證是全局最優(yōu)解，梯度下降法的速度也未必是最快的。梯度下降法的優(yōu)化思想是用當(dāng)前位置負(fù)梯度方向作為搜索方向，因?yàn)樵摲较驗(yàn)楫?dāng)前位置的最快下降方向，所以也被稱為是”最速下降法“。最速下降法越接近目標(biāo)值，步長越小，前進(jìn)越慢。

梯度下降法的缺點(diǎn)：

（1）靠近極小值時(shí)收斂速度減慢;

（2）直線搜索時(shí)可能會產(chǎn)生一些問題；

（3）可能會“之字形”地下降。

在機(jī)器學(xué)習(xí)中，基于基本的梯度下降法發(fā)展了兩種梯度下降方法，分別為隨機(jī)梯度下降法和批量梯度下降法。

比如對一個(gè)線性回歸（Linear Logistics）模型，假設(shè)下面的h(x)是要擬合的函數(shù)，J( )為損失函數(shù)，是參數(shù)，要迭代求解的值，求解出來了那最終要擬合的函數(shù)h( )就出來了。其中m是訓(xùn)練集的樣本個(gè)數(shù)，n是特征的個(gè)數(shù)。

1）批量梯度下降法（Batch Gradient Descent，BGD）

（1）將J( )對求偏導(dǎo)，得到每個(gè)theta對應(yīng)的的梯度：

(2）由于是要最小化風(fēng)險(xiǎn)函數(shù)，所以按每個(gè)參數(shù) 的梯度負(fù)方向，來更新每個(gè) ：

（3）從上面公式可以注意到，它得到的是一個(gè)全局最優(yōu)解，但是每迭代一步，都要用到訓(xùn)練集所有的數(shù)據(jù)，如果m很大，那么可想而知這種方法的迭代速度會相當(dāng)?shù)穆?。所以，這就引入了另外一種方法——隨機(jī)梯度下降。

對于批量梯度下降法，樣本個(gè)數(shù)m，x為n維向量，一次迭代需要把m個(gè)樣本全部帶入計(jì)算，迭代一次計(jì)算量為m*n2。

2）隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）

（1）上面的風(fēng)險(xiǎn)函數(shù)可以寫成如下這種形式，損失函數(shù)對應(yīng)的是訓(xùn)練集中每個(gè)樣本的粒度，而上面批量梯度下降對應(yīng)的是所有的訓(xùn)練樣本：

（2）每個(gè)樣本的損失函數(shù)，對求偏導(dǎo)得到對應(yīng)梯度，來更新：

（3）隨機(jī)梯度下降是通過每個(gè)樣本來迭代更新一次，如果樣本量很大的情況（例如幾十萬），那么可能只用其中幾萬條或者幾千條的樣本，就已經(jīng)將

迭代到最優(yōu)解了，對比上面的批量梯度下降，迭代一次需要用到十幾萬訓(xùn)練樣本，一次迭代不可能最優(yōu)，如果迭代10次的話就需要遍歷訓(xùn)練樣本10次。但是，SGD伴隨的一個(gè)問題是噪音較BGD要多，使得SGD并不是每次迭代都向著整體最優(yōu)化方向。

隨機(jī)梯度下降每次迭代只使用一個(gè)樣本，迭代一次計(jì)算量為n2，當(dāng)樣本個(gè)數(shù)m很大的時(shí)候，隨機(jī)梯度下降迭代一次的速度要遠(yuǎn)高于批量梯度下降方法。兩者的關(guān)系可以這樣理解：隨機(jī)梯度下降方法以損失很小的一部分精確度和增加一定數(shù)量的迭代次數(shù)為代價(jià)，換取了總體的優(yōu)化效率的提升。增加的迭代次數(shù)遠(yuǎn)遠(yuǎn)小于樣本的數(shù)量。

對批量梯度下降法和隨機(jī)梯度下降法的總結(jié)：

批量梯度下降---最小化所有訓(xùn)練樣本的損失函數(shù)，使得最終求解的是全局的最優(yōu)解，即求解的參數(shù)是使得風(fēng)險(xiǎn)函數(shù)最小，但是對于大規(guī)模樣本問題效率低下。

隨機(jī)梯度下降---最小化每條樣本的損失函數(shù)，雖然不是每次迭代得到的損失函數(shù)都向著全局最優(yōu)方向，但是大的整體的方向是向全局最優(yōu)解的，最終的結(jié)果往往是在全局最優(yōu)解附近，適用于大規(guī)模訓(xùn)練樣本情況。

2. 牛頓法和擬牛頓法（Newton's method & Quasi-Newton Methods）

1）牛頓法（Newton's method）

牛頓法是一種在實(shí)數(shù)域和復(fù)數(shù)域上近似求解方程的方法。方法使用函數(shù) f ( x )的泰勒級數(shù)的前面幾項(xiàng)來尋找方程 f ( x ) = 0的根。牛頓法最大的特點(diǎn)就在于它的收斂速度很快。

具體步驟：

首先，選擇一個(gè)接近函數(shù) f ( x )零點(diǎn)的x0，計(jì)算相應(yīng)的 f ( x 0)和切線斜率 f ' ( x 0)（這里 f ' 表示函數(shù) f 的導(dǎo)數(shù)）。然后我們計(jì)算穿過點(diǎn)( x 0, f ( x 0))并且斜率為 f '( x 0)的直線和 x 軸的交點(diǎn)的 x 坐標(biāo)，也就是求如下方程的解：

我們將新求得的點(diǎn)的 x 坐標(biāo)命名為 x 1，通常 x 1會比 x 0更接近方程 f ( x ) = 0的解。因此我們現(xiàn)在可以利用 x 1開始下一輪迭代。迭代公式可化簡為如下所示：

已經(jīng)證明，如果 f '是連續(xù)的，并且待求的零點(diǎn) x 是孤立的，那么在零點(diǎn) x 周圍存在一個(gè)區(qū)域，只要初始值 x 0位于這個(gè)鄰近區(qū)域內(nèi)，那么牛頓法必定收斂。并且，如果 f ' ( x )不為0, 那么牛頓法將具有平方收斂的性能. 粗略的說，這意味著每迭代一次，牛頓法結(jié)果的有效數(shù)字將增加一倍。下圖為一個(gè)牛頓法執(zhí)行過程的例子。

由于牛頓法是基于當(dāng)前位置的切線來確定下一次的位置，所以牛頓法又被很形象地稱為是"切線法"。

關(guān)于牛頓法和梯度下降法的效率對比：

從本質(zhì)上去看，牛頓法是二階收斂，梯度下降是一階收斂，所以牛頓法就更快。如果更通俗地說的話，比如你想找一條最短的路徑走到一個(gè)盆地的最底部，梯度下降法每次只從你當(dāng)前所處位置選一個(gè)坡度最大的方向走一步，牛頓法在選擇方向時(shí)，不僅會考慮坡度是否夠大，還會考慮你走了一步之后，坡度是否會變得更大。所以，可以說牛頓法比梯度下降法看得更遠(yuǎn)一點(diǎn)，能更快地走到最底部。（牛頓法目光更加長遠(yuǎn)，所以少走彎路；相對而言，梯度下降法只考慮了局部的最優(yōu)，沒有全局思想。）

根據(jù)wiki上的解釋，從幾何上說，牛頓法就是用一個(gè)二次曲面去擬合你當(dāng)前所處位置的局部曲面，而梯度下降法是用一個(gè)平面去擬合當(dāng)前的局部曲面，通常情況下，二次曲面的擬合會比平面更好，所以牛頓法選擇的下降路徑會更符合真實(shí)的最優(yōu)下降路徑。

注：紅色的牛頓法的迭代路徑，綠色的是梯度下降法的迭代路徑。

牛頓法的優(yōu)缺點(diǎn)總結(jié)：

優(yōu)點(diǎn)：二階收斂，收斂速度快；

缺點(diǎn)：牛頓法是一種迭代算法，每一步都需要求解目標(biāo)函數(shù)的Hessian矩陣的逆矩陣，計(jì)算比較復(fù)雜。

2）擬牛頓法（Quasi-Newton Methods）

擬牛頓法是求解非線性優(yōu)化問題最有效的方法之一，于20世紀(jì)50年代由美國Argonne國家實(shí)驗(yàn)室的物理學(xué)家W.C.Davidon所提出來。Davidon設(shè)計(jì)的這種算法在當(dāng)時(shí)看來是非線性優(yōu)化領(lǐng)域最具創(chuàng)造性的發(fā)明之一。不久R. Fletcher和M. J. D. Powell證實(shí)了這種新的算法遠(yuǎn)比其他方法快速和可靠，使得非線性優(yōu)化這門學(xué)科在一夜之間突飛猛進(jìn)。

擬牛頓法的本質(zhì)思想是改善牛頓法每次需要求解復(fù)雜的Hessian矩陣的逆矩陣的缺陷，它使用正定矩陣來近似Hessian矩陣的逆，從而簡化了運(yùn)算的復(fù)雜度。擬牛頓法和最速下降法一樣只要求每一步迭代時(shí)知道目標(biāo)函數(shù)的梯度。通過測量梯度的變化，構(gòu)造一個(gè)目標(biāo)函數(shù)的模型使之足以產(chǎn)生超線性收斂性。這類方法大大優(yōu)于最速下降法，尤其對于困難的問題。另外，因?yàn)閿M牛頓法不需要二階導(dǎo)數(shù)的信息，所以有時(shí)比牛頓法更為有效。如今，優(yōu)化軟件中包含了大量的擬牛頓算法用來解決無約束，約束，和大規(guī)模的優(yōu)化問題。

具體步驟：

擬牛頓法的基本思想如下。首先構(gòu)造目標(biāo)函數(shù)在當(dāng)前迭代xk的二次模型：

這里Bk是一個(gè)對稱正定矩陣，于是我們?nèi)∵@個(gè)二次模型的最優(yōu)解作為搜索方向，并且得到新的迭代點(diǎn)：

其中我們要求步長ak 滿足Wolfe條件。這樣的迭代與牛頓法類似，區(qū)別就在于用近似的Hesse矩陣Bk 代替真實(shí)的Hesse矩陣。所以擬牛頓法最關(guān)鍵的地方就是每一步迭代中矩陣Bk的更新?，F(xiàn)在假設(shè)得到一個(gè)新的迭代xk+1，并得到一個(gè)新的二次模型：

我們盡可能地利用上一步的信息來選取Bk。具體地，我們要求

從而得到

這個(gè)公式被稱為割線方程。常用的擬牛頓法有DFP算法和BFGS算法。

原文鏈接： [Math] 常見的幾種最優(yōu)化方法 - Poll的筆記 - 博客園

二、優(yōu)化算法筆記（二）優(yōu)化算法的分類

（以下描述，均不是學(xué)術(shù)用語，僅供大家快樂的閱讀）

在分類之前，我們先列舉一下常見的優(yōu)化算法（不然我們拿什么分類呢？）。

1遺傳算法Genetic algorithm

2粒子群優(yōu)化算法Particle Swarm Optimization

3差分進(jìn)化算法Differential Evolution

4人工蜂群算法Artificial Bee Colony

5蟻群算法Ant Colony Optimization

6人工魚群算法Artificial Fish Swarm Algorithm

7杜鵑搜索算法Cuckoo Search

8螢火蟲算法Firefly Algorithm

9灰狼算法Grey Wolf Optimizer

10鯨魚算法Whale Optimization Algorithm

11群搜索算法Group search optimizer

12混合蛙跳算法Shuffled Frog Leaping Algorithm

13煙花算法fireworks algorithm

14菌群優(yōu)化算法Bacterial Foraging Optimization

以上優(yōu)化算法是我所接觸過的算法，沒接觸過的算法不能隨便下結(jié)論，知之為知之，不知為不知。其實(shí)到目前為止優(yōu)化算法可能已經(jīng)有幾百種了，我們不可能也不需要全面的了解所有的算法，而且優(yōu)化算法之間也有較大的共性，深入研究幾個(gè)之后再看其他優(yōu)化算法上手速度會灰常的快。

優(yōu)化算法從提出到現(xiàn)在不過50-60年（遺傳算法1975年提出），雖種類繁多但大多較為相似，不過這也很正常，比較香蕉和人的基因相似度也有50%-60%。當(dāng)然算法之間的相似度要比香蕉和人的相似度更大，畢竟人家都是優(yōu)化算法，有著相同的目標(biāo)，只是實(shí)現(xiàn)方式不同。就像條條大路通羅馬，我們可以走去，可以坐汽車去，可以坐火車去，也可以坐飛機(jī)去，不管使用何種方式，我們都在去往羅馬的路上，也不會說坐飛機(jī)去要比走去更好，交通工具只是一個(gè)工具，最終的方案還是要看我們的選擇。

上面列舉了一些常見的算法，即使你一個(gè)都沒見過也沒關(guān)系，后面會對它們進(jìn)行詳細(xì)的介紹，但是對后面的分類可能會有些許影響，不過問題不大，就先當(dāng)總結(jié)看了。

再對優(yōu)化算法分類之前，先介紹一下算法的模型，在筆記（一）中繪制了優(yōu)化算法的流程，不過那是個(gè)較為簡單的模型，此處的模型會更加復(fù)雜。上面說了優(yōu)化算法有較大的相似性，這些相似性主要體現(xiàn)在算法的運(yùn)行流程中。

優(yōu)化算法的求解過程可以看做是一個(gè)群體的生存過程。

有一群原始人，他們要在野外中尋找食物，一個(gè)原始人是這個(gè)群體中的最小單元，他們的最終目標(biāo)是尋找這個(gè)環(huán)境中最容易獲取食物的位置，即最易存活下來的位置。每個(gè)原始人都去獨(dú)自尋找食物，他們每個(gè)人每天獲取食物的策略只有采集果實(shí)、制作陷阱或者守株待兔，即在一天之中他們不會改變他們的位置。在下一天他們會根據(jù)自己的策略變更自己的位置。到了某一天他們又聚在了一起，選擇了他們到過的最容易獲取食物的位置定居。

一群原始人=優(yōu)化算法中的種群、群體；

一個(gè)原始人=優(yōu)化算法中的個(gè)體；

一個(gè)原始人的位置=優(yōu)化算法中個(gè)體的位置、基因等屬性；

原始人變更位置=優(yōu)化算法中總?cè)旱母虏僮鳎?/p>

該位置獲取食物的難易程度=優(yōu)化算法中的適應(yīng)度函數(shù)；

一天=優(yōu)化算法中的一個(gè)迭代；

這群原始人最終的定居位置=優(yōu)化算法所得的解。

優(yōu)化算法的流程圖如下：

對優(yōu)化算法分類得有個(gè)標(biāo)準(zhǔn)，按照不同的標(biāo)準(zhǔn)分類也會得到不一樣的結(jié)果。首先說一下我所使用的分類標(biāo)準(zhǔn)（動(dòng)態(tài)更新，有了新的感悟再加）：

按由來分類比較好理解，就是該算法受何種現(xiàn)象啟發(fā)而發(fā)明，本質(zhì)是對現(xiàn)象分類。

可以看出算法根據(jù)由來可以大致分為有人類的理論創(chuàng)造而來，向生物學(xué)習(xí)而來，受物理現(xiàn)象啟發(fā)。其中向生物學(xué)習(xí)而來的算法最多，其他類別由于舉例有偏差，不是很準(zhǔn)確，而且物理現(xiàn)象也經(jīng)過人類總結(jié)，有些與人類現(xiàn)象相交叉，但仍將其獨(dú)立出來。

類別分好了，那么為什么要這么分類呢？

當(dāng)然是因?yàn)橐獪愖謹(jǐn)?shù)啦，啊呸，當(dāng)然是為了更好的理解學(xué)習(xí)這些算法的原理及特點(diǎn)。

向動(dòng)物生存學(xué)習(xí)而來的算法一定是一種行之有效的方法，能夠保證算法的效率和準(zhǔn)確性，因?yàn)?，如果使用該策略的?dòng)物無法存活到我們可以對其進(jìn)行研究，我們也無法得知其生存策略。（而這也是一種幸存者偏差，我們只能看到行之有效的策略，但并不是我們沒看到的策略都是垃圾，畢竟也發(fā)生過小行星撞地球這種小概率毀滅性事件。講個(gè)冷笑話開cou心zhi一shu下:一只小恐龍對他的小伙伴說，好開心，我最喜歡的那顆星星越來越亮了（完）。）但是由于生物的局限性，人們所創(chuàng)造出的算法也會有局限性：我們所熟知的生物都生存在三維空間，在這些環(huán)境中，影響生物生存的條件比較有限，反應(yīng)到算法中就是這些算法在解決較低維度的問題時(shí)效果很好，當(dāng)遇到超高維（維度>500）問題時(shí)，結(jié)果可能不容樂觀，沒做過實(shí)驗(yàn)，我也不敢亂說。

按更新過程分類相對復(fù)雜一點(diǎn)，主要是根據(jù)優(yōu)化算法流程中更新位置操作的方式來進(jìn)行分類。更新位置的操作按我的理解可大致分為兩類：1.跟隨最優(yōu)解；2.不跟隨最優(yōu)解。

還是上面原始人的例子，每天他有一次去往其他位置狩獵的機(jī)會，他們采用何種方式來決定今天自己應(yīng)該去哪里呢？

如果他們的策略是“跟隨最優(yōu)解”，那么他們選取位置的方式就是按一定的策略向群體已知的最佳狩獵位置（歷史最佳）或者是當(dāng)前群體中的最佳狩獵位置（今天最佳）靠近，至于是直線跑過去還是蛇皮走位繞過去，這個(gè)要看他們?nèi)后w的策略。當(dāng)然，他們的目的不是在最佳狩獵位置集合，他們的目的是在過去的途中看是否能發(fā)現(xiàn)更加好的狩獵位置，去往已經(jīng)到過的狩獵地點(diǎn)再次狩獵是沒有意義的，因?yàn)槊總€(gè)位置獲取食物的難易程度是固定的。有了目標(biāo)，大家都會朝著目標(biāo)前進(jìn)，總有一日，大家會在謀個(gè)位置附近相聚，相聚雖好但不利于后續(xù)的覓食容易陷入局部最優(yōu)。

什么是局部最優(yōu)呢？假設(shè)在當(dāng)前環(huán)境中有一“桃花源”，擁有上帝視角的我們知道這個(gè)地方就是最適合原始人們生存的，但是此地入口隱蔽“山有小口，仿佛若有光”、“初極狹，才通人?！?，是一個(gè)難以發(fā)現(xiàn)的地方。如果沒有任何一個(gè)原始人到達(dá)了這里，大家向著已知的最優(yōu)位置靠近時(shí)，也難以發(fā)現(xiàn)這個(gè)“桃源之地”，而當(dāng)大家越聚越攏之后，“桃源”被發(fā)現(xiàn)的可能性越來越低。雖然原始人們得到了他們的解，但這并不是我們所求的“桃源”，他們聚集之后失去了尋求“桃源”的可能，這群原始人便陷入了局部最優(yōu)。

如果他們的策略是“不跟隨最優(yōu)解”，那么他們的策略是什么呢？我也不知道，這個(gè)應(yīng)該他們自己決定。畢竟“是什么”比“不是什么”的范圍要小的多?？傊桓S最優(yōu)解時(shí)，算法會有自己特定的步驟來更新個(gè)體的位置，有可能是隨機(jī)在自己附近找，也有可能是隨機(jī)向別人學(xué)習(xí)。不跟隨最優(yōu)解時(shí)，原始人們應(yīng)該不會快速聚集到某一處，這樣一來他們的選擇更具多樣性。

按照更新過程對上面的算法分類結(jié)果如下

可以看出上面不跟隨最優(yōu)解的算法只有遺傳算法和差分進(jìn)化算法，他們的更新策略是與進(jìn)化和基因的重組有關(guān)。因此這些不跟隨最優(yōu)解的算法，他們大多依據(jù)進(jìn)化理論更新位置（基因）我把他們叫做進(jìn)化算法，而那些跟隨群體最優(yōu)解的算法，他們則大多依賴群體的配合協(xié)作，我把這些算法叫做群智能算法。

目前我只總結(jié)了這兩種，分類方法，如果你有更加優(yōu)秀的分類方法，我們可以交流一下：

上一篇優(yōu)化算法筆記（一）優(yōu)化算法的介紹

下一篇優(yōu)化算法筆記（三）粒子群算法（1）

三、結(jié)構(gòu)優(yōu)化的目標(biāo)，優(yōu)化方法，優(yōu)化算法哪些，及實(shí)現(xiàn)流程

產(chǎn)業(yè)結(jié)構(gòu)優(yōu)化升級目標(biāo)：提高利潤，增強(qiáng)產(chǎn)品競爭力

區(qū)域協(xié)調(diào)發(fā)展的目標(biāo)：減小貧富差距

產(chǎn)業(yè)結(jié)構(gòu)優(yōu)化措施：政策扶持科技企業(yè)

區(qū)域協(xié)調(diào)發(fā)展的措施：加大欠發(fā)達(dá)地區(qū)投入，沿海地區(qū)產(chǎn)業(yè)重心向內(nèi)地礌功辟嘉轉(zhuǎn)黃辨萎玻聯(lián)遷移

簡單的說

四、數(shù)學(xué)建模常用模型及算法

四大模型：

1、優(yōu)化模型 2、評價(jià)模型 3、預(yù)測模型 4、統(tǒng)計(jì)模型

對應(yīng)常用算法

線性規(guī)劃

線性回歸是利用數(shù)理統(tǒng)計(jì)中回歸分析，來確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計(jì)分析方法，在線性回歸分析中，只包括一個(gè)自變量和一個(gè)因變量，且二者的關(guān)系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個(gè)或兩個(gè)以上的自變量，且因變量和自變量之間是線性關(guān)系，則稱為多元線性回歸分析。

以上就是關(guān)于單目標(biāo)優(yōu)化模型的算法相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會為您講解更多精彩的知識和內(nèi)容。