Modern Deep Learning

课程简介

本课程通过三个相互关联的部分探索现代深度学习： Part 1: 现代训练技术。 本部分探讨训练现代大规模模型的技术。我们将研究自监督学习、高级优化方法、分布式训练和参数高效微调等关键技术。核心重点在于在大规模训练过程中实现计算效率。 Part 2: 现代架构。 本部分涵盖深度学习中的当代架构。我们将从Transformer模型及其最近的变体开始，包括视觉Transformer和混合专家模型。然后，我们将探讨用于关系数据的图神经网络（GNNs）以及新兴模型如状态空间模型和柯尔莫哥洛夫-阿诺尔德网络。 Part 3: 现代生成式深度学习。 本模块对领先的生成模型进行总体介绍。我们将涵盖关键的生成模型，包括变分自编码器（VAEs）、自回归模型如GPTs以及扩散模型和流匹配模型。重点在于理论和实现，以及当前的研究趋势和应用。

学习目标

本课程以大规模基础模型为重点探索现代深度学习。学生将超越基础知识，批判性地分析、实现和创新最先进的AI系统。课程涵盖了大规模模型训练的基本原理、高级架构和生成AI。最终，课程为学生准备了研究导向角色的问题解决技能，使他们能够应对新颖和复杂的问题。

先修要求

互斥科目：课程：AMA564

教学模式

授课模式：互动式讲座将涵盖现代深度学习的核心技术。重点在于理解当前最先进的基础模型背后的原理和关键研究趋势。 辅导课：通过实际应用强化讲座概念。学生将通过编写涉及实现和评估大规模模型的练习来工作。 课程项目：团队项目，小组将设计并展示一个深度学习解决方案，将概念应用于实际问题中。