Introduction to Large Language Models

课程简介

本课程介绍大型语言模型（LLMs）的三大关键部分：Part 1：基础——语言建模即为估计词序列概率，从n-克模型到神经模型；分词、词汇处理、词表示以及评估指标。Part 2：核心LLMs——变换器架构变体（编码器仅型、解码器仅型、编码器-解码器），文本生成控制（温度、top-k、top-p），涌现能力（例如，零样本推理），以及训练生命周期（预训练、指令调优、对齐）。Part 3：应用——提示工程（零样本、少量样本、思维链），检索增强生成（RAG），提示调优，高效微调，以及负责任的部署/评估。

学习目标

本课程为本科生提供大型语言模型（LLMs）的清晰且易于理解的介绍。课程平衡了概念理解与实践经验，涵盖LLMs的工作原理、应用场景及其局限性。学生将学习负责任地使用开源模型，通过动手练习探索实际应用，并培养对伦理和社会问题的批判性意识。本课程为学生准备高级AI课程和工业或研究中的实际应用做准备。

先修要求

先修课程：AMA1751和COMP1011

教学模式

授课模式：概念解释结合可视化、实时演示和实际案例；强调直觉而非数学推导。辅导/实验室：使用Hugging Face Transformers、sentence-transformers和FAISS的指导Colab笔记本；学生实现分词、提示、RAG和基本评估。课程项目：基于团队（2-3人）设计并展示一个简单的LLM驱动的应用程序。