优化理论概述
优化方法用于寻找一组可在某种意义上定义为最优的设计参数 x = {x1,x2,...,xn}。此过程可能比较简单,例如对依赖 x 的某个系统特性进行最小化或最大化。也可能更复杂一些,例如要最小化或最大化的目标函数 f(x) 可能需要满足以下一种或多种形式的约束:
等式约束 gi(x) = 0 ( i = 1,...,me)
不等式约束 gi( x) ≤ 0 (i = me 1,...,m)
参数边界 xl, xu,其中 xl ≤ x ≤ xu,xl 可以是 -∞,xu 可以是 ∞。
一般问题 (gp) 描述如下
(1) |
约束条件为
其中 x 是长度为 n 的由设计参数组成的向量,f(x) 是目标函数(返回标量值),向量函数 g(x) 返回长度为 m 的向量,其中包含在 x 处计算的等式和不等式约束的值。
求解此问题的效率和解的精确度不仅取决于问题的规模(以约束和设计变量的数目来衡量),还取决于目标函数和约束的特性。当目标函数和约束均为设计变量的线性函数时,该问题称为线性规划 (lp) 问题。二次规划 (qp) 关注包含线性约束的二次目标函数的最小化或最大化。lp 和 qp 问题都有现成的可靠求解过程。更难求解的是非线性规划 (np) 问题,其中目标函数和约束可以是设计变量的非线性函数。np 问题的求解通常需要迭代过程来确定每次主迭代的搜索方向。这种求解通常需要借助 lp、qp 或无约束子问题的求解来实现。
所有优化都以实数形式进行。不过,无约束最小二乘问题和方程求解可以使用复数解析函数来表述和求解。请参阅。