Nonlinear Optimization Methods

课程简介

I. 无约束优化 1.1 一阶、二阶最优性条件；凸优化 1.2 一阶方法：最速下降法，共轭梯度法，信赖域方法 1.3 二阶方法：牛顿法，拟牛顿法，信赖域牛顿法 1.4 非可微目标函数：一阶最优性条件，邻近点方法，光滑化方法 II. 有约束优化 2.1 一阶、二阶最优性条件，KKT 条件，约束条件 2.2 惩罚方法 2.3 增广拉格朗日方法（ALM） 2.4 交替方向乘子法（ADMM） III. 数据科学中的优化方法 3.1 最小绝对收缩与选择算子（Lasso），半光滑牛顿方法 3.2 展叠凹惩罚估计，差凸（DC）优化方法 3.3 非利普希茨正则化，光滑化方法 3.4 深度学习中的复合非光滑非凸优化

学习目标

使学生能够学习并掌握应用于解决实际工程和管理问题的更高级的数学和计算技术。

先修要求

具有线性代数课程背景和高等微积分课程背景

教学模式

本课程主要通过讲座和辅导课进行讲授。教学方法主要以解决问题为导向。该方法旨在发展数学技术及其在解决问题中的应用。鼓励学生采用深入的学习方法，运用高级认知策略，如批判性思维、评价性思维，将理论与实践相结合。