最優(yōu)化理論基礎(chǔ)（最優(yōu)化理論基礎(chǔ)與方法）

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于最優(yōu)化理論基礎(chǔ)的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

• 1、最優(yōu)化理論與算法的內(nèi)容簡介

• 2、最優(yōu)化理論與方法的目錄

• 3、Java軟件工程師主要學(xué)習(xí)哪些課程？

• 4、最優(yōu)化選擇法數(shù)學(xué)原理

一、最優(yōu)化理論與算法的內(nèi)容簡介

本書是陳寶林教授在多年實(shí)踐基礎(chǔ)上編著的.書中包括線性規(guī)劃單純形方法、對偶理論、靈敏度分析、運(yùn)輸問題、內(nèi)點(diǎn)算法、非線性規(guī)劃K?T條件、無約束最優(yōu)化方法、約束最優(yōu)化方法、整數(shù)規(guī)劃和動態(tài)規(guī)劃等內(nèi)容.本書含有大量經(jīng)典的和新近的算法,有比較系統(tǒng)的理論分析,實(shí)用性比較強(qiáng);定理的證明和算法的推導(dǎo)主要以數(shù)學(xué)分析和線性代數(shù)為基礎(chǔ),比較簡單易學(xué).本書可以作為運(yùn)籌學(xué)類課程的教學(xué)參考書,也可供應(yīng)用數(shù)學(xué)工作者和工程技術(shù)人員參考。

二、最優(yōu)化理論與方法的目錄

第1篇線性規(guī)劃與整數(shù)規(guī)劃

1最優(yōu)化基本要素

1.1優(yōu)化變量

1.2目標(biāo)函數(shù)

1.3約束條件

1.4最優(yōu)化問題的數(shù)學(xué)模型及分類

1.5最優(yōu)化方法概述

習(xí)題

參考文獻(xiàn)

2線性規(guī)劃

2.1線性規(guī)劃數(shù)學(xué)模型

2.2線性規(guī)劃求解基本原理

2.3單純形方法

2.4初始基本可行解的獲取

習(xí)題

參考文獻(xiàn)

3整數(shù)規(guī)劃

3.1整數(shù)規(guī)劃數(shù)學(xué)模型及窮舉法

3.2割平面法

3.3分枝定界法

習(xí)題

參考文獻(xiàn)

第2篇非線性規(guī)劃

4非線性規(guī)劃數(shù)學(xué)基礎(chǔ)

4.1多元函數(shù)的泰勒展開式

4.2函數(shù)的方向?qū)?shù)與最速下降方向

4.3函數(shù)的二次型與正定矩陣

4.4無約束優(yōu)化的極值條件

4.5凸函數(shù)與凸規(guī)劃

4.6約束優(yōu)化的極值條件

習(xí)題

參考文獻(xiàn)

5一維最優(yōu)化方法

5.1搜索區(qū)間的確定

5.2黃金分割法

5.3二次插值法

5.4切線法

5.5格點(diǎn)法

習(xí)題

參考文獻(xiàn)

6無約束多維非線性規(guī)劃方法

6.1坐標(biāo)輪換法

6.2最速下降法

6.3牛頓法

6.4變尺度法

6.5共軛方向法

6.6單純形法

6.7最小二乘法

習(xí)題

參考文獻(xiàn)

7約束問題的非線性規(guī)劃方法

7.1約束最優(yōu)化問題的間接解法

7.2約束最優(yōu)化問題的直接解法

習(xí)題

參考文獻(xiàn)

8非線性規(guī)劃中的一些其他方法

8.1多目標(biāo)優(yōu)化

8.2數(shù)學(xué)模型的尺度變換

8.3靈敏度分析及可變?nèi)莶罘?/p>

習(xí)題

參考文獻(xiàn)

第3篇智能優(yōu)化方法

9啟發(fā)式搜索方法

9.1圖搜索算法

9.2啟發(fā)式評價函數(shù)

9.3A*搜索算法

習(xí)題

參考文獻(xiàn)

10Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法

10.1人工神經(jīng)網(wǎng)絡(luò)模型

10.2Hopfield神經(jīng)網(wǎng)絡(luò)

10.3Hopfield網(wǎng)絡(luò)與最優(yōu)化問題

習(xí)題

參考文獻(xiàn)

11模擬退火法與均場退火法

11.1模擬退火法基礎(chǔ)

11.2模擬退火算法

11.3隨機(jī)型神經(jīng)網(wǎng)絡(luò)

11.4均場退火

習(xí)題

參考文獻(xiàn)

12遺傳算法

12.1遺傳算法實(shí)現(xiàn)

12.2遺傳算法示例

12.3實(shí)數(shù)編碼的遺傳算法

習(xí)題

參考文獻(xiàn)

第4篇變分法與動態(tài)規(guī)劃

13變分法

13.1泛函

13.2泛函極值條件——?dú)W拉方程

13.3可動邊界泛函的極值

13.4條件極值問題

13.5利用變分法求解最優(yōu)控制問題

習(xí)題

參考文獻(xiàn)

14最大（小）值原理

14.1連續(xù)系統(tǒng)的最大（?。┲翟?/p>

14.2應(yīng)用最大（?。┲翟砬蠼庾顑?yōu)控制問題

14.3離散系統(tǒng)的最大（小）值原理

習(xí)題

參考文獻(xiàn)

15動態(tài)規(guī)劃

15.1動態(tài)規(guī)劃數(shù)學(xué)模型與算法

15.2確定性多階段決策

15.3動態(tài)系統(tǒng)最優(yōu)控制問題

習(xí)題

參考文獻(xiàn)

附錄A中英文索引

Part 1Linear Programming and Integer Programming

1Fundamentals of Optimization

1.1Optimal Variables

1.2Objective Function

1.3Constraints

1.4Mathematical Model and Classification of Optimization

1.5Introduction of Optimal Methods

Problems

References

2Linear Programming

2.1Mathematical Models of Linear Programming

2.2Basic Principles of Linear Programming

2.3Simplex Method

2.4Acquirement of Initial Basic Feasible Solution

Problems

References

3Integer Programming

3.1Mathematical Models of Integer Programming and Enumeration

Method

3.2Cutting Plane Method

3.3Branch and Bound Method

Problems

References

Part 2Non?Linear Programming

4Mathematical Basis of Non?Linear Programming

4.1Taylor Expansion of Multi?Variable Function

4.2Directional Derivative of Function and Steepest Descent Direction

4.3Quadratic Form and Positive Matrix

4.4Extreme Conditions of Unconstrained Optimum

4.5Convex Function and Convex Programming

4.6Extreme Conditions of Constrained Optimum

Problems

References

5One?Dimensional Optimal Methods

5.1Determination of Search Interval

5.2Golden Section Method

5.3Quadratic Interpolation Method

5.4Tangent Method

5.5Grid Method

Problems

References

6Non?Constraint Non?Linear Programming

6.1Coordinate Alternation Method

6.2Steepest Descent Method

6.3Newton?s Method

6.4Variable Metric Method

6.5Conjugate Gradient Algorithm

6.6Simplex Method

6.7Least Squares Method

Problems

References

7Constraint Optimal Methods

7.1Constraint Optimal Indirect Methods

7.2Constraint Optimal Direct Methods

Problems

References

8Other Methods in Non Linear Programming

8.1Multi Objectives Optimazation

8.2Metric Variation of a Mathematic Model

8.3Sensitivity Analysis and Flexible Tolerance Method

Problems

References

Part 3Intelligent Optimization Method

9Heuristic Search Method

9.1Graph Search Method

9.2Heuristic Evaluation Function

9.3A*Search Method

Problems

References

10Optimization Method Based on Hopfield Neural Networks

10.1Artificial Neural Networks Model

10.2Hopfield Neural Networks

10.3Hopfield Neural Networks and Optimization Problems

Problems

References

11Simulated Annealing Algorithm and Mean Field Annealing Algorithm

11.1Basis of Simulated Annealing Algorithm

11.2Simulated Annealing Algorithm

11.3Stochastic Neural Networks

11.4Mean Field Annealing Algorithm

Problems

References

12Genetic Algorithm

12.1Implementation Procedure of Genetic Algorithm

12.2Genetic Algorithm Examples

12.3Real?Number Encoding Genetic Algorithm

Problems

References

Part 4Variation Method and Dynamic Programming

13Variation Method

13.1Functional

13.2Functional Extreme Value Condition—Euler?s Equation

13.3Functional Extreme Value for Moving Boundary

13.4Conditonal Extreme Value

13.5Solving Optimal Control with Variation Method

Problems

References

14Maximum (Minimum) Principle

14.1Maximum (Minimum) Principle for Continuum System

14.2Applications of Maximum (Minimum) Principle

14.3Maximum (Minimum) Principle for Discrete System

Problems

References

15Dynamic Programming

15.1Mathematic Model and Algorithm of Dynamic Programming

15.2Deterministic Multi?Stage Process Decision

15.3Optimal Control of Dynamic System

Problems

References

Appendix AChinese and English Index

三、Java軟件工程師主要學(xué)習(xí)哪些課程？

很多新手在學(xué)習(xí)java的時候都比較迷茫，不知道從哪里開始學(xué)起，這里就給大家整理了一份java開發(fā)學(xué)習(xí)路線，比較系統(tǒng)全面，可參考這份大綱來安排學(xué)習(xí)計(jì)劃，希望可以幫到你~

最新java學(xué)習(xí)路線：第一階段：java業(yè)基礎(chǔ)課程

階段目標(biāo)：

1、熟練掌握java的開發(fā)環(huán)境與編程核心知識；

2、熟練運(yùn)用java面向?qū)ο笾R進(jìn)行程序開發(fā)；

3、對java的核心對象和組件有深入理解；

4、熟練運(yùn)用javaAPI相關(guān)知識；

5、熟練應(yīng)用java多線程技術(shù)；

6、能綜合運(yùn)用所學(xué)知識完成一個項(xiàng)目。

知識點(diǎn)：

1、基本數(shù)據(jù)類型，運(yùn)算符，數(shù)組，掌握基本數(shù)據(jù)類型轉(zhuǎn)換，運(yùn)算符，流程控制；

2、數(shù)組，排序算法，java常用API，類和對象，了解類與對象，熟悉常用API；

3、面向?qū)ο筇卣?，集合框架，熟悉面向?qū)ο笕筇卣?，熟練使用集合框架?/p>

4、IO流，多線程；

5、網(wǎng)絡(luò)協(xié)議，線程運(yùn)用。

第二階段：javaWEB核心課程

階段目標(biāo)：

1、熟練掌握數(shù)據(jù)庫和MySQL核心技術(shù)；

2、深入理解JDBC與DAO數(shù)據(jù)庫操作；

3、熟練運(yùn)用JSP及Servlet技術(shù)完成網(wǎng)站后臺開發(fā)；

4、深入理解緩存、連繼池、注解、反射、泛型等知識；

5、能夠運(yùn)用所學(xué)知識完成自定義框架。

知識點(diǎn)：

1、數(shù)據(jù)庫知識，范式，MySQL配置，命令，建庫建表，數(shù)據(jù)的增刪改查，約束，視圖，存儲過程，函數(shù)，觸發(fā)器，事務(wù)，游標(biāo)，建模工具。

2、深入理解數(shù)據(jù)庫管理系統(tǒng)通用知識及MySQL數(shù)據(jù)庫的使用與管理。為Java后臺開發(fā)打下堅(jiān)實(shí)基礎(chǔ)。Web頁面元素，布局，CSS樣式，盒模型，JavaScript，jQuery。

3、掌握前端開發(fā)技術(shù)，掌握jQuery。

4、Servlet，EL表達(dá)式，會話跟蹤技術(shù)，過濾器，F(xiàn)reeMarker。

5、掌握Servlet相關(guān)技術(shù)，利用Servlet，JSP相關(guān)應(yīng)用技術(shù)和DAO完成B/S架構(gòu)下的應(yīng)用開發(fā)。

6、泛型，反射，注解。

7、掌握J(rèn)AVA高級應(yīng)用，利用泛型，注解，枚舉完成自己的CRUD框架開發(fā)為后續(xù)框架學(xué)習(xí)做鋪墊。

8、單點(diǎn)登錄，支付功能，項(xiàng)目整合，分頁封裝熟練運(yùn)用JSP及Servlet核心知識完成項(xiàng)目實(shí)戰(zhàn)。

第三階段：JavaEE框架課程

階段目標(biāo)：

1. 熟練運(yùn)用Linux操作系統(tǒng)常見命令及完成環(huán)境部署和Nginx服務(wù)器的配置

2. 熟練運(yùn)用JavaEE三大核心框架：Spring,SpringMVC,MyBatis

3. 熟練運(yùn)用Maven,并使用SpringBoot進(jìn)行快速框架搭建

4. 深入理解框架的實(shí)現(xiàn)原理，Java底層技術(shù)，企業(yè)級應(yīng)用等

5. 使用Shiro,Ztree和Spring,SpringMVC,Mybaits完成企業(yè)項(xiàng)目

知識點(diǎn)：

1、Linux安裝配置，文件目錄操作，VI命令，管理，用戶與權(quán)限，環(huán)境部署，Struts2概述，hiberante概述。

2、Linux作為一個主流的服務(wù)器操作系統(tǒng)，是每一個開發(fā)工程師必須掌握的重點(diǎn)技術(shù)，并且能夠熟練運(yùn)用。

3、SSH的整合,MyBatis,SpringMVC,Maven的使用。

4、了解AOP原理，了解中央控制器原理，掌握MyBatis框架，掌握SSM框架的整合。

5、Shiro,Ztree，項(xiàng)目文檔，項(xiàng)目規(guī)范，需求分析，原型圖設(shè)計(jì)，數(shù)據(jù)庫設(shè)計(jì)，工程構(gòu)建，需求評審，配置管理，BUG修復(fù)，項(xiàng)目管理等。

6、獨(dú)立自主完成一個中小型的企業(yè)級綜合項(xiàng)目的設(shè)計(jì)和整體架構(gòu)的原型和建模。獨(dú)立自主完成一個大型的企業(yè)級綜合項(xiàng)目，并具備商業(yè)價值。

第四階段：分布式與微服務(wù)課程

階段目標(biāo)：

1.掌握前端框架VUE及Bootstrap的應(yīng)用開發(fā)

2.基于SpringCloud完成微服務(wù)架構(gòu)項(xiàng)目的開發(fā)

3.掌握NoSQL數(shù)據(jù)庫Redis的使用

4.掌握消息隊(duì)列RabbitMQ的使用

5.掌握Mycat數(shù)據(jù)庫中間件的使用

知識點(diǎn)：

1、Bootstrap前端框架、VUE前端框架、RabbitMQ消息隊(duì)列。

2、掌握Bootstrap前端框架開發(fā)、掌握VUE前端框架開發(fā)、掌握RabbitMQ消息隊(duì)列的應(yīng)用、掌握SpringBoot集成RabbitMQ。

3、Redis緩存數(shù)據(jù)庫的應(yīng)用、Java基于Redis的應(yīng)用開發(fā)、基于SpringCloud微服務(wù)架構(gòu)開發(fā)實(shí)戰(zhàn)。

4、掌握NOSQL數(shù)據(jù)庫Redis的安裝、使用，Redis客戶端的安裝使用，Java訪問操作Redis數(shù)據(jù)庫，Redis的持久化方案、主從復(fù)制、高可用。

5、掌握SpringCloud微服務(wù)架構(gòu)的開發(fā)，注冊中心，網(wǎng)關(guān)配置，配置中心，微服務(wù)間通信及容器化部署。

6、項(xiàng)目文檔，項(xiàng)目規(guī)范，需求分析，數(shù)據(jù)庫設(shè)計(jì)，工程構(gòu)建，需求評審，配置管理，BUG修復(fù)，項(xiàng)目管理等。

7、掌握數(shù)據(jù)庫中間件Mycat的應(yīng)用，基于Mycat實(shí)現(xiàn)數(shù)據(jù)讀寫分離，高可用集群。

8、掌握項(xiàng)目開發(fā)的流程，按照項(xiàng)目開發(fā)流程完成基于微服務(wù)架構(gòu)項(xiàng)目的需求分析，編碼開發(fā)。

PS：溫馨提示，光看不練假把式，跟著視頻教程練項(xiàng)目也是必不可少的！相關(guān)教程指路B站尚學(xué)堂官方號！都是免費(fèi)滴！

四、最優(yōu)化選擇法數(shù)學(xué)原理

2.2.1 目標(biāo)函數(shù)

設(shè)觀測異常以ΔZ_k表示，k為觀測點(diǎn)序號，k=1，2，…，m，m為觀測點(diǎn)數(shù)。

設(shè)所選用的地質(zhì)體模型的理論異常以 Z 表示，Z 是模型體參量和觀測點(diǎn)坐標(biāo)的函數(shù)，即

Z=f（x_k，y_k，z_k，b₁，b₂，…，b_n）

式中：x_k，y_k，z_k為觀測點(diǎn)的坐標(biāo)；b₁，b₂，…，b_n為模型體的參量，如空間位置、產(chǎn)狀、物性等，參量的個數(shù)為n。

模型體的初始參量用

，

，

，…，

表示。

理論曲線與實(shí)測曲線之間的符合程度，是以各測點(diǎn)上理論異常與實(shí)測異常之差的平方和（即偏差平方和）來衡量的，用φ表示，即

地球物理數(shù)據(jù)處理教程

目的在于求得一組關(guān)于模型體參量的修改量δ₁，δ₂，…，δ_n，來修改模型體給定的初值參量，即

地球物理數(shù)據(jù)處理教程

于是求出關(guān)于模型體參量的一組新值，而由這組新參量形成的模型體的理論異常與實(shí)測異常之間的偏差平方和將取極小，即是

地球物理數(shù)據(jù)處理教程

代入式（2.2.1）中將使φ值獲得極小，這時b_i即為我們的解釋結(jié)果，這稱為最小二乘意義下的最優(yōu)化選擇法。

我們稱φ為目標(biāo)函數(shù)，用它來衡量理論曲線與實(shí)測曲線的符合程度。最優(yōu)化方法的關(guān)鍵在于求取使φ值獲得極小參量的改正值δ_i，而f通常是b_i的非線性函數(shù)，因而該問題歸結(jié)為非線性函數(shù)極小的問題。

2.2.2 求非線性函數(shù)極小的迭代過程

從上已知f為b_i的非線性函數(shù)，那么要求它與實(shí)測值之間的偏差平方和φ為極小的問題就稱為非線性極小問題，或稱為非線性參數(shù)的估計(jì)問題。如果是線性問題，參數(shù)估計(jì)比較簡單，通常進(jìn)行一次計(jì)算即可求出參數(shù)的真值，而對非線性問題，參數(shù)估計(jì)卻要復(fù)雜得多，為了求解，通常將函數(shù)在參數(shù)初值鄰域內(nèi)展成線性（忽略高次項(xiàng)），即所謂的線性化，然后再求得改正量δ_i（i=1，2，…，n），由于這是一種近似方法，因而不可能使φ一次達(dá)到極小，而需要一個迭代過程，通過反復(fù)計(jì)算而逐步逼近函數(shù)φ的極小值。

圖2.1 不同埋深時的重力異常

為了說明這個求極小的迭代過程，可以舉一個單參量的例子，即假如我們要確定引起重力異常Δg_k的場源地質(zhì)體的深度，假設(shè)場源為一個已知體積和密度的球體模型，如圖2.1所示，那么φ就是球心埋深z的函數(shù)，如果球心埋深的真值為h，我們首先取初值為z^（0），這時函數(shù)

地球物理數(shù)據(jù)處理教程

式中：Δg_k為實(shí)測異常；g（z）是球心埋深為z的理論重力異常；φ隨z的變化情況示于圖2.2 中，要求使φ獲極小的z，即要求使

地球物理數(shù)據(jù)處理教程

的根。由于z^（0）和φ（z^（0））不能一次求出φ的極小來，通常采用迭代的辦法，如圖2.3所示，例如用牛頓切線法迭代求根，根據(jù)下式

地球物理數(shù)據(jù)處理教程

得到一個更近似于根的值z^（1），但不等于h，因此需進(jìn)一步再用上式，將z^（1）作為新的初值z^（0），可得到新的z^（1）更接近于h，如此反復(fù)下去可以使z值無限接近于h，當(dāng)滿足精度要求時，我們認(rèn)為它近似等于h了，停止迭代，這時的z^（1）就作為h值。

圖2.2 函數(shù)φ（z）隨z變化示意圖

圖2.3 用牛頓切線法求φ′（z）=0的根示意圖

2.2.3 單參量非線性函數(shù)的極小問題

單參量不僅是討論多參量的基礎(chǔ)，而且往往在求多參量極小時要直接用到單參量極小的方法，因此有必要作一介紹。

求單參量極小的方法很多，上面用到的牛頓切線法就是其中之一，在此我們介紹一種用得較多的函數(shù)擬合法，以及精度較高的DSC-Powell方法。

2.2.3.1 函數(shù)擬合法

2.2.3.1.1 二次函數(shù)擬合法

A.不計(jì)算導(dǎo)數(shù)的情況

設(shè)取三個參量值x₁、x₂、x₃，它們對應(yīng)的φ 值就應(yīng)為φ₁、φ₂、φ₃，過三個點(diǎn)（x₁，φ₁；x₂，φ₂；x₃，φ₃）作二次拋物線，應(yīng)有下式

地球物理數(shù)據(jù)處理教程

聯(lián)立φ₁、φ₂、φ₃的方程式，即可得出系數(shù)A、B、C來。

當(dāng)A＞0時，應(yīng)有極小點(diǎn)存在，我們設(shè)極小點(diǎn)為d，那么根據(jù)極小的必要條件有

地球物理數(shù)據(jù)處理教程

將A、B的表達(dá)式代入即得

地球物理數(shù)據(jù)處理教程

當(dāng)x₁、x₂、x₃為等距的三點(diǎn)時，上式可簡化為

地球物理數(shù)據(jù)處理教程

B.計(jì)算導(dǎo)數(shù)的情況

設(shè)已知兩個點(diǎn)的參量值x₁和x₂對應(yīng)的函數(shù)值φ₁、φ₂，并已求得x₁點(diǎn)的一階導(dǎo)數(shù)值φ′（x₁），可用下列方法求極小點(diǎn)d：

地球物理數(shù)據(jù)處理教程

聯(lián)立φ₁、φ₂、φ′（x₁）三個方程即可得A、B、C，代入極小點(diǎn)的表達(dá)式即可求得極小點(diǎn)。

為了簡化起見，不妨設(shè)x₁為坐標(biāo)原點(diǎn)（即x₁=0），設(shè)x₂=1，于是上面各式簡化成：

φ′（x₁）=B

φ₁=C

φ₂=A+B+C

A=φ₂-φ′（x₁）-φ₁

則

地球物理數(shù)據(jù)處理教程

2.2.3.1.2 三次函數(shù)擬合法

取兩個點(diǎn)的參量值x₁和x₂，及相應(yīng)的φ₁和φ₂值，并已得到該兩點(diǎn)的一階導(dǎo)數(shù)值φ′（x₁）和φ′（x₂），我們選用一個三次多項(xiàng)式

φ=Ax³+Bx²+Cx+D

代入上面給出的4個條件，同樣，為了簡化起見，不妨設(shè)x₁為坐標(biāo)原點(diǎn)（即x₁=0），設(shè)x₂=1，則有

φ₁=D

φ₂=A+B+C+D

φ′（x₁）=C

φ′（x₂）=3A+2B+C

聯(lián)立求解，可定出4個系數(shù)A、B、C、D，按照求極小的必要條件

φ′=3Ax²+2Bx+C=0

當(dāng)二階導(dǎo)數(shù)

φ″=6Ax+2B＞0

時有極小存在，極小點(diǎn)d就為

地球物理數(shù)據(jù)處理教程

為了計(jì)算方便，令

v=φ′（x₁）

u=φ′（x₂）

S=-3（φ₁-φ₂）=3（A+B+C）

Z=s-u-v=B+C

W²=Z²-vu=B²-3AC

于是極小點(diǎn)d就可用下列形式表示：

地球物理數(shù)據(jù)處理教程

2.2.3.2 DSC-Powell 法

該法為比較細(xì)致的單參量探測法，精度比較高，計(jì)算工作量較大，大致可分為兩部分來完成，其探測（迭代）過程如圖2.4所示。

2.2.3.2.1 確定極小值所在的區(qū)間

采用的是一種直接探測法，做法可歸納如下。

第一步：給定探測方向x、初值點(diǎn)x₀和初始步長Δx，計(jì)算φ（x₀）和φ（x₀+Δx），若φ（x₀+Δx）≤φ（x₀），轉(zhuǎn)向第二步；若φ（x₀+Δx）＞φ（x₀），則取-Δx為步長Δx，轉(zhuǎn)向第二步。

第二步：計(jì)算x_k+1=x_k+Δx，計(jì)算φ（x_k+1）。

第三步：如果φ（x_k+1）≤φ（x_k），以2Δx為新步長代替Δx，且用k代表k+1，轉(zhuǎn)向第二步。

如果φ（x_k+1）＞φ（x_k），則以x_m表示x_k+1，以x_m-1表示x_k，將上步的x_k作為x_m-2，并計(jì)算

地球物理數(shù)據(jù)處理教程

第四步：在4個等距點(diǎn)（x_m-2、x_m-1、x_m+1、x_m）中，去掉四點(diǎn)中離φ（x）最小點(diǎn)最遠(yuǎn)的那一點(diǎn)，即或是x_m，或是x_m-2，剩下的三點(diǎn)按順序以x_α、x_b、x_c表示，其中x_b為中點(diǎn)，那么（x_α，x_c）區(qū)間即為極小值所在的區(qū)間。

2.2.3.2.2 用二次函數(shù)擬合法求極小點(diǎn)

將上面已確定的等距的 x_α、x_b、x_c三點(diǎn)及 φ 值，用二次函數(shù)擬合法即用公式（2.2.3）求得極小點(diǎn)，令為x^*點(diǎn)。再將x_α、x_b、x_c、x^*四點(diǎn)中舍去φ值最大的點(diǎn)，剩下的點(diǎn)重新令為α、b、c，則又得三點(diǎn)和它們相應(yīng)的φ值，用公式（2.2.2）求其極小點(diǎn)x^*，如此反復(fù)使用公式（2.2.2），逐步縮小極小值的區(qū)間，一直到兩次求得的極小點(diǎn)位置差小于事先給定的精度為止，x^*點(diǎn)即為極小點(diǎn)。

圖2.4 DSC-Powell法示意圖

2.2.4 廣義最小二乘法（Gauss 法）

重磁反問題中的最優(yōu)化方法，一般是指多參量的非線性最優(yōu)估計(jì)問題，理論模型異常z=f（

，b₁，b₂，…，b_n）是參數(shù)b_i（i=1，2，3，…，n）的非線性函數(shù)，其中

=（x，y，z）為測點(diǎn)的坐標(biāo)。由前已知ΔZ_k（k=1，2，…，m）表示在第k個觀測點(diǎn)

上的實(shí)測異常，現(xiàn)在要尋求與觀測異常相對應(yīng)的理論模型的參量值b_i（i=1，2，…，n），使理論異常與實(shí)測異常的偏差平方和

地球物理數(shù)據(jù)處理教程

為極小。

設(shè)b_i的初值為

，則上述問題，即是要求修正量δ_i，使

地球物理數(shù)據(jù)處理教程

代入φ中，使φ獲得極小。

高斯提出了首先將f函數(shù)線性化的近似迭代方法，即將f在

處按臺勞級數(shù)展開取其線性項(xiàng)。

地球物理數(shù)據(jù)處理教程

式中

，

地球物理數(shù)據(jù)處理教程

當(dāng)

和

給出后，

和

均可直接計(jì)算出來。將臺勞展開式代入式（2.2.6）中，目標(biāo)函數(shù)φ為

地球物理數(shù)據(jù)處理教程

要求

使φ取得極小，根據(jù)極小的必要條件

地球物理數(shù)據(jù)處理教程

將上式化為

地球物理數(shù)據(jù)處理教程

寫成方程組形式

地球物理數(shù)據(jù)處理教程

式中：

，

（i，j=1，2，…，n）

再寫成矩陣形式，有

地球物理數(shù)據(jù)處理教程

即

地球物理數(shù)據(jù)處理教程

其中

A=P^TP

地球物理數(shù)據(jù)處理教程

式中：P稱為雅可比（Jacobi）矩陣，是理論模型函數(shù)對參量的一階導(dǎo)數(shù)矩陣。A為正定對稱矩陣，實(shí)際計(jì)算時，當(dāng)實(shí)測異常值已給出，模型體的初值

已選定后，A和

即可計(jì)算出，求解方程（2.2.7）即可求出

，從而可得

。

上面推導(dǎo)出的方程（2.2.7）是將f線性化所得，因而只有當(dāng)f為真正的線性函數(shù)時，

才是真正的極小點(diǎn)

，即一步到達(dá)極??；當(dāng)f為非線性函數(shù)時，臺勞式線性化僅為近似式，近似程序視

的大小而定，當(dāng)|δ_i|較大時，二次以上項(xiàng)忽略的誤差就大，反之就小，所以對于非線性函數(shù)

不能簡單地作為極小點(diǎn)

，一般將

作為新的初值

再重復(fù)上述做法，再解方程（2.2.7）又得到新的

，反復(fù)迭代下去，直到滿足精度要求為止（例如|δ_i|小到允許誤差）。

在高斯法應(yīng)用中常常出現(xiàn)一種困難，即迭代過程不穩(wěn)定，當(dāng)

過大時，臺勞展開的高次項(xiàng)太大而不能忽略時，就可能發(fā)生這樣的情況，即用方程（2.2.7）求得的解，得到的參量

所對應(yīng)的φ值大于

所對應(yīng)的φ值，那么它將不能穩(wěn)定地收斂于φ的極小值，即是出現(xiàn)了發(fā)散的情況，一般說來當(dāng)f非線性程度越明顯時，越易出現(xiàn)發(fā)散的情況。

因此高斯法的一種改進(jìn)形式如下，即不直接把

作為校正值，而將它作為校正方向，記為

，而在該方向上用單變量求極小的方法尋找在這個方向上的極小點(diǎn)，即尋找一個α，使目標(biāo)函數(shù)φ（

）為極小，取

作為新的初值，再繼續(xù)迭代（0＜α＜1）。

把這個改進(jìn)的方法稱為廣義最小二乘法，它使迭代過程的穩(wěn)定性有所改善，即使這樣當(dāng)初值取得不好時，也有可能出現(xiàn)不收斂。

2.2.5 最速下降法

從前述已知，我們的目的是要求目標(biāo)函數(shù)的極小，高斯法是利用將f函數(shù)線性化，建立一個正規(guī)方程（2.2.7）來求取修正量的，最速下降法是另一類型方法，它直接尋找φ函數(shù)的下降方向來求取修正量，所以它又稱為直接法，而高斯法又稱為間接法。

從目標(biāo)函數(shù)φ出發(fā)來尋找其下降方向

地球物理數(shù)據(jù)處理教程

始終是大于或等于0，因此它一定有極小存在，我們首先考慮初值點(diǎn)

的一個鄰域內(nèi)，將φ在

處臺勞展開取至線性項(xiàng)，有

地球物理數(shù)據(jù)處理教程

希望尋找使Φ下降的方向，即要找新點(diǎn)

，使φ（

）＜φ（

）

即要求φ（

）-φ（

）＞0，

且越大越好，那么可得

地球物理數(shù)據(jù)處理教程

地球物理數(shù)據(jù)處理教程

式中

表示φ函數(shù)對

的各分量的導(dǎo)數(shù)所組成的向量，即梯度向量。

要使上式取極大，有

地球物理數(shù)據(jù)處理教程

上式說明了φ值下降最快的方向

，應(yīng)該是與梯度方向

相反的方向，即負(fù)梯度方向，那么修正量就應(yīng)在負(fù)梯度方向上來求取。下面討論從

出發(fā)，沿負(fù)梯度方向上求取極小點(diǎn)的方法，除了用前面介紹過的方法外，在此再介紹一種近似計(jì)算方法。

要求從

出發(fā)，沿-

方向的極小點(diǎn)，即要求λ使φ

為-

方向上極小點(diǎn)。根據(jù)極小必要條件，有

地球物理數(shù)據(jù)處理教程

如果φ為二次函數(shù)時，λ可以直接解出，在重磁反問題中φ為非二次函數(shù)，且函數(shù)形式較復(fù)雜，一般無法直接解出λ，而采用近似法，先將φ（

）臺勞展開，取至線性項(xiàng)，即

地球物理數(shù)據(jù)處理教程

假設(shè)粗略認(rèn)為φ的極小值為零，則極小點(diǎn)的λ應(yīng)有

地球物理數(shù)據(jù)處理教程

這個方法計(jì)算簡單，但誤差較大，特別是

遠(yuǎn)離真正極小點(diǎn)

時，φ值較大，上式的假設(shè)不適合，當(dāng)接近真極小點(diǎn)

附近時，可以采用。但在重磁反問題中，由于實(shí)測值Z_k中含有干擾成分，所以即使到了

附近，φ值仍不會為零，因而上述計(jì)算λ的方法不能直接采用，可將上述計(jì)算的λ作為一個區(qū)間估計(jì)值，再用其他方法計(jì)算［0，λ］之間真正的λ值。

從上所述可將最速下降法敘述如下：從初值

出發(fā)，沿著φ（

）的負(fù)梯度方向-

（

）尋找極小點(diǎn)

，然后又從

出發(fā)，沿著φ（

）的負(fù)梯度方向-

（

）尋找極小點(diǎn)

，一直迭代下去，直到找到

為止。

由于這個方法是沿著初值點(diǎn)的最快下降方向，在該方向上如果采用單方向求極小的方法得到該方向上的極小點(diǎn)，那么又稱“最優(yōu)”、“最速”下降法。但需要指出的是，所謂“最速”是就初值點(diǎn)的鄰域而言，所謂“最優(yōu)”是指在初值點(diǎn)的負(fù)梯度方向上，所以它的著眼點(diǎn)是就局部而言，就初值點(diǎn)鄰域而言，而對整體往往是既非“最優(yōu)”，又非“最速”，而是一條曲折的彎路，難怪有人稱它為“瞎子下山法”，如圖2.5所示，當(dāng)φ的等值面為拉長的橢球時更是如此。但它有一個十分可貴的優(yōu)點(diǎn)，即在迭代的每一步都保證φ值下降，所以它是穩(wěn)定收斂的，在φ函數(shù)復(fù)雜時，計(jì)算工作量較大些，對于大型計(jì)算機(jī)比較適用。

圖2.5 最速下降法迭代過程示意圖

圖2.6 修正量的方向

2.2.6 阻尼最小二乘法（Marguardt）

比較上述兩種方法可知，Gauss法修正量的步長大，當(dāng)φ近于二次函數(shù)，可以很快收斂，但當(dāng)φ為非二次函數(shù)，初值又給得不好時，常常引起發(fā)散。而最速下降法卻能保證穩(wěn)定的收斂，但修正量的步長小，計(jì)算工作量大。當(dāng)φ的等值面為拉長的橢球時，Gauss法的修正量

和最速下降法的修正量

之間的夾角γ可達(dá)80°～90°，如圖2.6所示。

對于φ為二次函數(shù)的情況下，高斯法的修正量

方向是指向φ的極小點(diǎn)，而最速下降法修正量

的方向是垂直于通過

點(diǎn)的φ函數(shù)等值面的切平面。因而當(dāng)φ為比較復(fù)雜的函數(shù)時，有可能使

出現(xiàn)發(fā)散而失敗。

阻尼最小二乘法是在Gauss法和最速下降法之間取某種插值，它力圖能以最大步長前進(jìn)，同時又能緊靠負(fù)梯度方向，這樣既能保證收斂又能加快速度。它的基本思想是：在迭代過程的每一步，最好盡量使用Gauss法修正量方向

，以使修正步長盡可能地增大，如當(dāng)這種情況下不能收斂時，再逐步改用接近最速下降的方向

，同時縮小步長，以保證收斂，下面以

表示由阻尼最小二乘法得出的修正量。

實(shí)現(xiàn)上述思想只要將方程

地球物理數(shù)據(jù)處理教程

改變?yōu)?/p>

地球物理數(shù)據(jù)處理教程

就能實(shí)現(xiàn)了。式中

為我們所要求的修正量，即稱Marguardt修正向量，I為單位矩陣，λ是用來控制修正方向和步長的任意正數(shù)，又稱阻尼因子，它起到阻止發(fā)散的作用，方程（2.2.9）中

顯然是λ的函數(shù)，即

地球物理數(shù)據(jù)處理教程

通過這一改變后，即原來的正規(guī)方程（2.2.7）系數(shù)矩陣的主對角線上加一正數(shù)，從而使條件數(shù)得到了改善。如果原來A是奇異的，而A+λI可成為正定的，設(shè)原來A的最大特征值和最小特征值為μ_max和μ_min，則條件數(shù)就發(fā)生了如下變化：

地球物理數(shù)據(jù)處理教程

使病態(tài)條件數(shù)改善，對于計(jì)算來說，是十分有利的。

從方程（2.2.7）可看出，右端項(xiàng)為

地球物理數(shù)據(jù)處理教程

而φ的負(fù)梯度向量

的第i個分量

地球物理數(shù)據(jù)處理教程

所以

，即方程（2.2.7）、（2.2.9）的右端項(xiàng)

的方向即為負(fù)梯度方向，值為負(fù)梯度值的一半。

在方程（2.2.9）中，當(dāng)λ=0時，即是（2.2.7）方程，這時

就是

；當(dāng)λ→∞時，δ₀→

，而

是負(fù)梯度方向，這時

就是最速下降方向，所以阻尼最小二乘法的修正量

，是最速下降修正量

和Gauss法修正量

之間的某種插值，λ就是這種插值的權(quán)系數(shù)。

Marguardt向量

具有以下三個特性：

（1）當(dāng)λ越來越大時，

的長度越來越小，且

地球物理數(shù)據(jù)處理教程

‖

‖表示

向量的范數(shù)，也即是它的長度。

（2）當(dāng)λ由零逐漸增大時，

的方向逐漸由Gauss法的方向

轉(zhuǎn)向最速下降法方向

，λ越大，

方向越接近

方向。

（3）對λ＞0的任意正數(shù)，

（滿足方程（2.2.9））使φ在半徑為‖

‖的球面上取得極小。

圖2.7Δ₀（λ）隨λ的變化情況示意圖

以上三個性質(zhì)說明，當(dāng)λ逐漸增大時，

的方向由

向

靠近，它的大小‖

‖逐漸減小，λ→∞時，‖

‖→0，如圖2.7所示。因此在迭代的任何一步，我們總可以找到充分大的λ，來保證穩(wěn)定的收斂，因?yàn)楫?dāng)φ 不下降時，就加大λ向

靠，一直到使φ下降為止，從而保證收斂。性質(zhì)（3）說明在跨出同樣的步長時，以

（λ）方向最好，這就保證了該法的優(yōu)越性。在實(shí)際計(jì)算時，總是在保證收斂的前提下，取較小的λ，以獲得較大的步長前進(jìn)。

下面介紹阻尼最小二乘法的迭代步驟，即實(shí)際計(jì)算過程。

（1）給出模型體參量初值

，計(jì)算φ（

）；給出實(shí)測場值ΔZ_k（k=1，2，…，m）；給出阻尼因子的初值λ^（0）及改變λ的比例系數(shù)v。

（2）開始迭代，λ=λ^（0）/v

（3）計(jì)算A，（A+λI）及右端項(xiàng)

在初值點(diǎn)

的值，得方程（2.2.9），（A+λI）

的系數(shù)矩陣及右端項(xiàng)。

（4）求解方程（2.2.9）得

。

（5）計(jì)算

及φ（

）。

（6）比較φ（

）和φ（

）。

若φ（

）＜φ（

），則該次迭代成功。判斷

是否滿足精度要求，若滿足停止迭代，這時的

即為極小點(diǎn)

；若不滿足精度要求，則將

作為新

，φ（

）作為新φ（

），減小λ作為新的λ^（0），轉(zhuǎn)向第（2）步，繼續(xù)迭代下去。

若φ（

）＞φ（

），則該次迭代失敗，增大阻尼因子λ，將λ·v作為新的λ，轉(zhuǎn)向第（4）步，即重新求解（A+λI）

方程，重新得到新的

。

該方法中阻尼因子λ的選擇十分重要，上述選法是一種簡單可行的方法，還有很多不同的選擇方法，可參閱有關(guān)的書籍。

以上就是關(guān)于最優(yōu)化理論基礎(chǔ)相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會為您講解更多精彩的知識和內(nèi)容。

推薦閱讀：

十大經(jīng)典電影排行榜（中國最優(yōu)秀的十部電影）

教學(xué)最優(yōu)化原則（教學(xué)最優(yōu)化原則由誰提出）

最優(yōu)秀的品牌設(shè)計(jì)作品（最優(yōu)秀的品牌設(shè)計(jì)作品是什么）

Q版字體（q版字體下載）

荷蘭濱江景觀設(shè)計(jì)案例分享（荷蘭濱江景觀設(shè)計(jì)案例分享）