Deep Learning and Deep Neural Networks

课程简介

1. 深度学习与深度神经网络的高层次视角 1.1 什么是神经网络和深度神经网络？ 1.2 AI、机器学习、深度学习和DNNs之间的关系 1.3 神经网络：从浅层到深层 1.4 DNNs是如何从数据中学习的？ 1.5 实际应用示例：计算机视觉、语音、文本分析和医疗健康 2. 从ANN到DNN 2.1 生物神经元与人工神经元 2.2 感受器和多层感知器 2.3 MLP、GMM和SVM之间的关系 2.4 为什么要深层？ 2.5 DNN在分类和回归中的应用 3. 深度架构 3.1 自编码器和去噪自编码器 3.2 卷积神经网络 3.3 残差网络和DenseNet 3.4 循环神经网络 3.5 长短期记忆和门控循环单元 3.6 序列到序列模型 3.7 转换器模型和注意力机制 3.8 图神经网络 3.9 生成模型：VAEs、GANs和扩散模型 4. 深度学习 4.1 损失函数：均方误差和交叉熵（softmax）损失 4.2 基于梯度的优化：动量和学习率调度 4.3 反向传播 4.4 梯度消失 4.5 批归一化和层归一化 4.6 正则化：Dropout、权重衰减、L1和L2正则化、数据增强和提前停止 4.7 负责任任的AI 5. 软件和硬件工具 5.1 软件栈：CUDA、cuDNN、Tensorflow、PyTorch和Keras 5.2 云平台：Amazon EC2、Azure、Google Cloud、Nvidia GPU云、阿里云、Google Colab等 5.3 硬件：GPU、TPU、Nvidia Jetson

学习目标

学生将学习深度学习的基础知识，并掌握如何构建适用于实际应用和人工智能系统的深度神经网络。学生还将了解深度学习和深度神经网络的发展趋势。

先修要求

EIE3124: 机器智能基础

教学模式

Lectures: 通过讲座形式进行，包含问答、讨论和课堂活动； Tutorials: 学生们针对选定的主题进行讨论或完成作业，以强化讲座知识； Laboratory: 实践任务，用于练习已学概念、评估系统性能和设计解决方案；实验室中的开放性问题能够激发解决问题的创造力。