Theoretical Aspects of Reinforcement Learning

课程简介

本课程将涵盖以下主题： a) RL的发展历史及其与深度学习的整合。 b) RL的数学基础和核心概念：状态空间、动作空间、奖励函数、马尔可夫决策过程（MDPs）。 c) 关键的RL算法及其数学保证：基于价值的方法（Q-learning、SARSA），基于策略的方法（REINFORCE、Actor-Critic），基于模型的RL。 d) 高级RL技术：探索-利用权衡、经验回放、多智能体RL、层次化RL、RLHF。 e) 案例研究：RL在游戏AI（如AlphaGo）、机器人控制、推荐系统和资源优化中的应用。 f) 选定的高级主题：样本效率、收敛稳定性、奖励工程、联邦RL和伦理考量。

学习目标

本课程旨在为学生提供强化学习（RL）的数学基础和实践技能，RL是人工智能的核心子领域之一。课程将涵盖RL的数学基础、关键的RL算法、计算工具和实际应用，强调动态环境中的理论基础和问题解决技能。学生将学习分析RL在各行业部署的优缺点及其伦理考量。

先修要求

先修课程：AMA564 深度学习

教学模式

授课：介绍RL理论、算法推导和行业应用，重点在于数学基础和技术框架。 习题课：动手编码会和案例研究的小组讨论，使用实际数据集和模拟环境（如OpenAI Gym、MuJoCo）进行。