Optimization for Machine Learning

课程简介

数学背景：应用线性代数，凸函数理论，凸优化与非凸优化，稀疏优化。示例包括支持向量机（SVM）、回归和凸聚类。 一阶方法：梯度下降及其加速变体，投影梯度下降和近邻梯度下降，随机梯度下降，弗兰克-沃尔夫算法 二阶方法：牛顿法，拟牛顿法，半光滑牛顿法 降维方法：主成分分析和多维尺度分析，ISOMAP，t-SNE。 结构优化问题的对偶理论简介：卡鲁什-库恩-塔克条件，芬彻尔对偶理论，交替方向乘子法（ADMM），分布式优化算法。

学习目标

为学生提供更先进的优化算法，以应用于机器学习

先修要求

无

教学模式

本课程主要通过讲授和辅导进行。教学和学习方法主要以问题解决为导向。方法旨在发展数学技术及其在解决问题中的应用。鼓励学生采用深入学习的方法，运用批判性思维、评价性思维、关联、整合和应用理论到实践中的高级认知策略。