课程将根据金融科技领域的最新发展进行选题，具体内容可能在不同课程中有所变化。以下是一些潜在的主题示例。 1. 金融科技生态系统中主要主题领域的当前状态，如基础设施（例如，身份、隐私、安全）、众筹（例如，类型、平台、应用）、电子交易（例如，算法交易）和点对点（P2P）借贷。 2. 影响金融科技生态系统的趋势和机遇。 3. 金融科技创新的趋势，包括电子支付、数字银行、网络安全、虚拟货币、颠覆性金融服务、众筹、P2P借贷以及监管挑战，这些因素可能会影响各种行业的短期和长期发展。 4. 对未来影响最大的金融科技领域趋势。 5. 金融科技领域的最新发展和热门话题。
本课程介绍大型语言模型（LLMs）的三大关键部分：Part 1：基础——语言建模即为估计词序列概率，从n-克模型到神经模型；分词、词汇处理、词表示以及评估指标。Part 2：核心LLMs——变换器架构变体（编码器仅型、解码器仅型、编码器-解码器），文本生成控制（温度、top-k、top-p），涌现能力（例如，零样本推理），以及训练生命周期（预训练、指令调优、对齐）。Part 3：应用——提示工程（零样本、少量样本、思维链），检索增强生成（RAG），提示调优，高效微调，以及负责任的部署/评估。
1. 图像获取与表示 • 图像表示的基本知识和视频表示 • 颜色基础知识介绍（RGB、CMYK、HSL/HSV） 2. 图像处理技术 • 图像滤波器和基本卷积滤波器介绍 • 边缘检测（图像梯度、Sobel滤波器） • 基本的图像匹配概念 3. 视觉领域的机器学习 • 有监督和无监督学习简介 • 神经网络和深度学习简介 • 机器学习中模型泛化理解 4. 视觉识别任务与算法 • 图像分类 • 对象检测与分割 • 图像理解与生成的基本原理 5. 应用 • 3D视觉及其在机器人技术中的作用介绍 • 机器视觉和智能在日常生活中的应用，如面部识别、医学成像、自动驾驶车辆
Part I: 生成模型的基础 生成人工智能简介 • 生成模型的分类 • 基础模型概述 • 统计学习理论基础 经典模型简介 • 序列建模 • 编码器-解码器架构 • 变形器架构 • 变分自编码器 • 扩散模型 • 生成对抗网络 Part II: 基础模型与扩展 大型语言模型 • BERT、GPT、T5 架构； • 预训练目标； • 规模法则与新兴能力 提示与上下文学习 • 零样本和少样本提示 • 回溯增强生成 • 思维链 • 指令跟随 • 工具集成 微调与适应 • 分布式训练 • 监督微调； • 参数高效微调（LoRA、QLoRA、适配器） • 从人类反馈强化学习（RLHF） Part III: 高级主题与应用 多模态基础模型与自主人工智能 • 视觉变换器（ViT） • CLIP；BLIP、LLaVA • 图像-文本联合嵌入 • 世界模型 • 自主代理 状态空间模型与Mamba • 线性状态空间模型 • 结构化状态空间模型 • Mamba 架构 安全、伦理与社会影响 • 偏差与公平性 • 虚构 • 敌对攻击 • 隐私 • 监管考量 • 评估与基准测试
学生将自行启动项目。通常他们会联系本地行业以获取实际问题，并与导师一起将这些问题转化为项目主题。项目的性质应通过理论研究与实际应用相结合来体现。项目应包含相当多的努力来分析和解释获得的数据/信息，并运用从相关课程中学到的原则和技术。 需要提交项目提案，其中学生需确定研究主题，建议数据/信息收集计划，并提出分析问题的方法及其合理性。 将安排口头报告环节，让学生报告他们的工作和发现。
预备知识：向量和矩阵；特征值和特征向量；奇异值分解；期望和方差；点估计；数据类型，数据质量。 回归与分类：线性回归，最小二乘法；正态分布，最小二乘法误差分析，高斯-马尔可夫定理；模型过拟合；子集选择，收缩方法，岭回归，LASSO；降维，主成分分析；核方法，核岭回归；最近邻方法；期望最大化；逻辑回归；决策树；朴素贝叶斯分类器；随机森林；支持向量机；人工神经网络；分类器性能评估；接收器操作特征曲线，AUC评分 聚类与关联分析：聚类分析；层次聚类；原型聚类，基于密度聚类，基于图聚类；K均值聚类；谱聚类；关联分析 数据挖掘实践：数据处理与测量；介绍选定的数据挖掘软件包；数据可视化；实现选定算法
数据科学介绍：数据科学文恩图和术语；数据类型：结构化与非结构化，定量与定性；四类数据；数据科学的五个步骤。 基础理论：数学：向量、矩阵、算术符号、对数、指数、矩阵乘法、集合论；概率：概率公理、条件概率、概率规则、贝叶斯定理、随机变量——连续、离散、混合、分布可视化、矩、边缘/联合/条件分布、贝叶斯与频率主义；统计学：观测数据与实验数据，总体与样本，数据抽样与抽样分布，偏差/方差/均方误差。 统计推断：点估计；置信区间；假设检验：I型/II型错误、功效、单样本t检验、卡方检验：分类变量、拟合优度、关联/独立性。 机器学习（ML）基础：监督、无监督、半监督机器学习；回归：线性、逻辑；强化学习；分类：朴素贝叶斯、决策树、随机森林与集成、K均值聚类；特征提取与主成分分析；欠拟合/过拟合；K折交叉验证；网格搜索。 迁移学习（TL）与预训练模型：预训练模型；迁移学习：归纳/推断/无监督；自然语言处理（NLP）；双向编码表示从变换器（BERT）；生成预训练变换器（GPT）；算法偏见；数据漂移。 AI治理与伦理：数据治理介绍；机器学习治理介绍；架构治理介绍。 案例研究：COMPAS数据集；使用预训练模型和OpenAI进行文本嵌入；展示。
多元正态分布，均值向量和协方差矩阵的估计，多重相关系数和部分相关系数；高维稀疏参数的估计（正则化，阈值估计器）；主成分分析；分类与聚类；正则化线性回归；最小绝对收缩与选择算子（LASSO）；调参选择；选修内容（如FDR，筛选，反向剔除）。
数学背景：应用线性代数，凸函数理论，凸优化与非凸优化，稀疏优化。示例包括支持向量机（SVM）、回归和凸聚类。 一阶方法：梯度下降及其加速变体，投影梯度下降和近邻梯度下降，随机梯度下降，弗兰克-沃尔夫算法 二阶方法：牛顿法，拟牛顿法，半光滑牛顿法 降维方法：主成分分析和多维尺度分析，ISOMAP，t-SNE。 结构优化问题的对偶理论简介：卡鲁什-库恩-塔克条件，芬彻尔对偶理论，交替方向乘子法（ADMM），分布式优化算法。
主要讲授内容包括： a) 人工智能在科学领域的基础知识：机器学习框架（PyTorch、TensorFlow），科学计算（NumPy、SciPy）。 b) 人工智能在科学数据中的实践技术：回归、分类、聚类、图像/信号处理、决策以及大语言模型的应用。 c) 案例研究：从零构建大语言模型 d) 挑战（数据质量、模型可解释性、计算效率）及新兴趋势（人工智能驱动的科学发现、科学领域的联邦学习以及科技中的伦理人工智能）
1. 大数据： 大数据的特征和大数据分析；用于数据存储、处理和可视化的工具和技术。 2. 人工智能与语言： 文本分析、智能聊天机器人的应用。 3. 人工智能与创造力： 图像/视频风格化、故事生成、音乐生成的应用。 4. 人工智能与工程系统： 机器人中的人工智能。智能机器人和机器人技术；搜索与规划。 5. 推荐系统： 协同过滤、基于内容的过滤、多准则推荐系统和移动推荐系统。 6. 人工智能与大数据伦理： 职业伦理、使用伦理、设计伦理、公平机器学习、良好人工智能面临的挑战。
1. 人工智能（AI），其起源与范围。 AI 应用领域概览；机器学习；计算机视觉；自然语言处理；大规模图分析；医疗信息技术。 2. 大数据收集介绍。 3V 的挑战及其应用领域；数据可视化：数据类型与维度；视觉编码与感知。 3. 人工智能的社会与经济影响。 AI 与法律；算法偏见；计算伦理。 4. 人机接口。 脑机接口；EEG 基础；BCI 信号处理；ERP 处理。 5. 人工智能在安全领域的应用。 基于 AI 的用户认证技术；网络威胁的早期检测、识别与预测。 6. 人工智能在金融科技领域的应用。 金融科技技术栈；金融领域的 AI 及机器学习。 7. 人工智能在生物医学与医疗领域的应用。 医学影像；基于知识与决策支持系统；概率建模与推理；基因与蛋白质数据。 8. 人工智能物联网（AIoT）。 自主系统；传感器网络；控制系统；能源系统；智能电网
1. 神经计算基础 - 突触神经模型和神经动态 - 人工神经网络 - 生物和人工神经网络的学习算法 2. 脑信号分析 3. 认知计算 - 感觉和运动系统（视觉系统、听觉系统、大脑控制运动等） - 记忆和学习系统 - 语言和推理 4. 神经形态计算硬件与系统 - 神经形态传感器：硅视网膜、硅耳蜗等 - 神经形态芯片：TrueNorth、Spinnaker、Loihi、Tianjic等
1. 数据结构介绍 • 数据结构：栈、队列、链表、堆、树。 2. 计算机程序中的高效数据处理 • 搜索算法：线性搜索、二分搜索； • 排序算法：冒泡排序、插入排序、选择排序、快速排序、归并排序、堆排序； • 大O表示法与时复杂度分析。 3. 数据库介绍 • 关系模型；关系代数；SQL；完整性约束。 4. 数据库中的高效数据处理 • 文件组织；索引；视图的生成与维护； • 查询处理与优化； • 事务管理和并发控制；两阶段锁协议。 5. 分布式数据库介绍 • 分布式数据库体系结构；分布式数据库设计：数据分片；数据分配；数据复制；一致性问题。 6. 分布式数据库中的高效数据处理 • 分布式数据库查询处理与优化；查询分解；数据局部化；分布式数据库中的连接策略； • 分布式数据库事务管理和并发控制；两阶段提交协议。
• 搜索策略：与问题空间、空间图、实例、初始状态和目标状态相关的基本概念，广度优先搜索、深度优先搜索、双向搜索、均匀成本搜索、启发式搜索、贪婪最佳优先搜索、爬山搜索、局部束搜索、A*搜索。 • 基于知识的专家系统：知识获取、专家系统壳、专家系统架构、推理引擎、解释功能。 • 机器学习基础：学习任务：回归、分类等。监督学习、无监督学习、半监督学习和强化学习。 • 深度学习架构与应用：神经元和人工神经网络、多层感知器、卷积神经网络和循环神经网络概念、图神经网络、变换器等。 • 选修高级主题：联邦学习、AI for Science、大型语言模型等。
1. 图像获取与表示 图像获取，相机模型，透视投影；图像表示，色彩基础，RGB，CMYK，HSL/HSV色彩模型；视频表示。 2. 图像处理技术 图像滤波，线性/非线性滤波，卷积滤波；边缘检测，图像梯度，Sobel滤波器，Canny边缘检测器，霍夫变换；局部不变特征，角点检测，哈里斯角点检测器，区域检测，高斯拉普拉斯，SIFT检测器与特征，图像匹配，图像拼接，图像马赛克。 3. 视觉识别中的机器学习 监督学习，经典统计学习，交叉验证；无监督学习，聚类算法，半监督学习，预训练与微调，迁移学习；深度学习架构，多层感知器（MLP），卷积神经网络（CNN），UNet，视觉变换器（ViT）；反向传播，（随机）梯度下降；正则化，过拟合，欠拟合。 4. 视觉识别任务与算法 语义分割，经典分割方法（如：均值漂移），基础分割模型（如：SAM）；目标检测，区域提议，R-CNN系列，YOLO系列；实例分割；目标跟踪，光流，通过检测跟踪，多目标跟踪；多模态学习，对比语言-图像预训练（CLIP），跨模态图像检索，图像描述，视觉问答，视觉语言模型（VLM）；图像生成，生成对抗网络（GAN），扩散模型。 5. 视觉与智能的高级主题 多模态大型语言模型（MLLM）；三维视觉与深度感知，机器人与自主系统中的视觉；视觉系统中的强化学习；机器视觉中的伦理考量与挑战。
本课程通过三个相互关联的部分探索现代深度学习： Part 1: 现代训练技术。 本部分探讨训练现代大规模模型的技术。我们将研究自监督学习、高级优化方法、分布式训练和参数高效微调等关键技术。核心重点在于在大规模训练过程中实现计算效率。 Part 2: 现代架构。 本部分涵盖深度学习中的当代架构。我们将从Transformer模型及其最近的变体开始，包括视觉Transformer和混合专家模型。然后，我们将探讨用于关系数据的图神经网络（GNNs）以及新兴模型如状态空间模型和柯尔莫哥洛夫-阿诺尔德网络。 Part 3: 现代生成式深度学习。 本模块对领先的生成模型进行总体介绍。我们将涵盖关键的生成模型，包括变分自编码器（VAEs）、自回归模型如GPTs以及扩散模型和流匹配模型。重点在于理论和实现，以及当前的研究趋势和应用。
1. 可信赖人工智能的基础：可信赖人工智能的原则，人工智能系统的安全性和公平性，可信赖人工智能的威胁如后门攻击、对抗攻击及其缓解，深度伪造，超逼真深度伪造与扩散模型，面部替换，音频深度伪造，人工智能伦理，信任侵蚀与操纵。 2. 生成内容的防御机制：基于CNN和LLM的检测器，水印和加密解决方案，区块链用于溯源（如视频认证器），以及通过频谱分析和语言模式检测虚假音频。法律与政策框架。 3. 隐私保护的人工智能：联邦学习，差分隐私和同态加密，全球法规如欧盟人工智能法案，执行与司法管辖的挑战。 4. 用于生物特征识别的信任安全：生物特征介绍，实用系统中生物特征的期望属性，不同生物特征模式的优缺点，行为生物特征，隐私问题与社会挑战。 5. 性能评估与应用：可信赖安全系统中的错误率和性能图，实际系统和应用的性能评估，欺骗攻击与检测。 6. 多模态系统：多模态系统相较于单模态系统在可信赖人工智能中的优势，多模态和评分归一化技术，特征、评分和排名级别的融合。
1. 图像和视频表示 常见的视觉数据增强方法和表示格式，采样与量化，视觉数据插值和帧分辨率增强方法，失真测量，率失真理论 2. 颜色和音频表示 颜色和音频基础知识，CMY和CMYK颜色模型，RGB和HIS表示，颜色模型与处理 3. 视频压缩基础 无损预测编码，基于离散余弦变换和小波编码的有损视觉数据压缩，视频中的颜色模型与表示，压缩技术，JPEG、MPEG等标准 4. 视频处理 块基运动估计，2D对数搜索，分层搜索，视频编码标准，前向和双向预测，图像组，视频传输与显示顺序 5. 视频中的目标检测 边界框，目标检测性能指标如交并比、精确率、召回率等，常用的目标检测模型如YOLO或SOLO，以及基础模型如SAM或SE，语义分割 6. 图像和视频内容保护 用于权利保护和监控的视频水印，空间和频域技术，内容识别与安全
课程内容包括：1. 人工智能安全概览——流行的人工智能模型的基本原理，安全分析的原则，人工智能的安全性以及人工智能在安全中的应用。2. 人工智能模型训练中的攻击——数据污染攻击，计算机视觉中的后门攻击，网络分析和自然语言处理中的攻击。3. 部署中的人工智能模型漏洞——规避攻击，成员推理攻击，模型窃取攻击，越狱攻击。4. 常见的防御策略——对抗训练，攻击检测，数据净化，认证鲁棒性。5. 人工智能在安全中的应用——基于人工智能的恶意软件检测系统，网络入侵检测系统，鲁棒推荐系统。
