Introduction to Generative AI and Foundation Models

课程简介

Part I: 生成模型的基础 生成人工智能简介 • 生成模型的分类 • 基础模型概述 • 统计学习理论基础 经典模型简介 • 序列建模 • 编码器-解码器架构 • 变形器架构 • 变分自编码器 • 扩散模型 • 生成对抗网络 Part II: 基础模型与扩展 大型语言模型 • BERT、GPT、T5 架构； • 预训练目标； • 规模法则与新兴能力 提示与上下文学习 • 零样本和少样本提示 • 回溯增强生成 • 思维链 • 指令跟随 • 工具集成 微调与适应 • 分布式训练 • 监督微调； • 参数高效微调（LoRA、QLoRA、适配器） • 从人类反馈强化学习（RLHF） Part III: 高级主题与应用 多模态基础模型与自主人工智能 • 视觉变换器（ViT） • CLIP；BLIP、LLaVA • 图像-文本联合嵌入 • 世界模型 • 自主代理 状态空间模型与Mamba • 线性状态空间模型 • 结构化状态空间模型 • Mamba 架构 安全、伦理与社会影响 • 偏差与公平性 • 虚构 • 敌对攻击 • 隐私 • 监管考量 • 评估与基准测试

学习目标

提供基础模型和生成式 AI 的原理、架构及其应用的全面介绍。使学生既掌握理论知识，又具备开发、适应和部署大规模生成模型的语言、视觉及多模态领域的实际技能，同时批判性地评估这些模型的能力、局限性和社会影响。

先修要求

掌握机器学习基础知识、Python 编程、大学线性代数、概率论以及基本深度学习概念

教学模式

讲座、辅导课和实践编码实验室。讲座介绍理论基础和架构原理；辅导课提供引导式问题解决和论文讨论；编码实验室提供使用 PyTorch 和 Hugging Face 库实现算法和应用先进模型的实践经验。教学方法以问题为导向，强调理论理解和实际应用。小组讨论和项目式学习促进合作问题解决和同伴学习。