当前位置:首页>>建站资讯

最优化方法怎么选?看这篇就够了

本文按问题类型梳理最优化方法的选用逻辑:无约束光滑问题用梯度法或拟牛顿法,约束问题用拉格朗日乘子法与KKT条件,非光滑问题用近端梯度法,高维问题优先一阶方法,非凸问···

小编

做优化,先看问题长什么样。

无约束、目标函数光滑,直接上梯度下降。简单,但慢。牛顿法快,可要算二阶导,矩阵一大就卡死。折中选拟牛顿,比如L-BFGS,省内存还稳。

有约束,先试拉格朗日乘子法。等式约束好用,不等式就得靠KKT条件。凸问题最省心,对偶理论一套,该收敛就收敛。

目标函数不光滑,别硬求导。次梯度能用,但慢得磨人。近端梯度法更靠谱,专治L1正则这类带尖角的。

变量多、维度高,一阶方法优先。随机梯度下降及其变种(Adam、动量)是深度学习标配,噪声大但跑得快。要精度,再用全量梯度收尾。

非凸问题别指望全局最优。多起点、模拟退火、遗传算法,都是碰运气。实际工程里,能找到一个像样的局部解就不错了。

最后呢提醒:别上来就调包。先搞清楚问题是不是凸的、约束有没有结构、数据规模多大。选对方法,比调参重要十倍。


返回顶部