当前位置:首页>>建站资讯

最优化入门:先找方向,再走路

最优化是寻找使目标函数最优的决策变量取值,核心包括目标函数、约束、梯度下降、拉格朗日乘子法和凸优化。学习时应先理解几何直觉,再掌握迭代框架,最后通过编程实践巩固···

小编

最优化就是找最好的办法。数学上,是找一个点,让某个函数值最小或最大。

先分清两件事:目标函数和约束。目标函数是你想优化的量,比如成本、误差。约束是不能越过的边界,比如预算、材料强度。

没有约束的叫无约束优化。最简单的办法是梯度下降:算当前点的梯度,朝反方向走一小步。步长太大容易冲过头,太小又走得慢。步长怎么选,是门手艺。

有约束就麻烦些。常用思路是把约束融进目标里,或者只在可行域内找方向。拉格朗日乘子法就是这么干的:给每个约束配一个乘子,把有约束问题变成无约束问题。

实际计算中,别指望一步到位。迭代是常态:给个初值,算方向,定步长,更新点,再看是否收敛。收敛判断看梯度够不够小,或者两次迭代的差距够不够小。

还有一类问题叫凸优化。凸问题的好处是局部最优就是全局最优,不用怕陷进坑里。线性规划是最常见的凸优化,单纯形法至今仍在用。

学最优化,别一上来啃证明。先弄懂几何图像:梯度指向上升最快的方向,负梯度就是下降最快的方向。再把几个经典算法的流程走一遍,手算两个小例子。最后呢回头看理论,会顺很多。

工具不少,Python的scipy就能上手。先跑通,再调参,最后呢想为什么。


返回顶部