Multimodal Human Computer Interaction Technology

课程简介

1. 人机交互（HCI）及其应用 1.1 日常生活中的HCI应用 1.2 多模态HCI的优势 1.3 HCI技术的发展趋势 1.4 虚拟现实、增强现实、混合现实和元宇宙 1.5 实际生活中的HCI案例 2. 统计学习基础 2.1 概率与随机变量 2.2 概率密度与分布 2.3 抽样分布 2.4 期望与协方差 2.5 贝叶斯规则与贝叶斯决策理论 2.6 维度灾难 3. 用于HCI的机器学习 3.1 模式识别系统的结构 3.2 无监督学习：主成分分析；Eigenface；K均值聚类；高斯混合模型；隐马尔可夫模型 3.3 监督学习：线性判别分析；支持向量机 3.4 深度学习：深度神经网络；反向传播；基于梯度的优化；卷积神经网络；表示学习；深度学习开发平台 3.5 手写识别和人脸识别的应用 4. 语音计算 4.1 语音计算：通过语音与计算机交互 4.2 音频特征 4.3 HMM和DNN在语音识别中的应用 4.4 语言模型 4.5 说话人识别：GMM-UBM；GMM-SVM；i-vectors；x-vectors；DNN说话人嵌入；LDA；PLDA 4.6 语音计算的应用：语音搜索；语音对话系统；自然语言处理；语音情感识别；说话人识别；语音克隆

学习目标

本课程旨在为学生提供多模态人机交互（HCI）技术的理论和应用。特别是，它使学生能够理解机器学习和深度学习如何应用于各种HCI系统。

先修要求

先修课程：EIE3103 数字信号与系统； EIE3124 机器智能基础；或 EIE3312 线性系统 合设课程/排除课程：无

教学模式

授课模式：授课内容将通过讲座进行讲解。学生将通过问答、讨论和特别设计的课堂活动参与讲座。 辅导课：在辅导课上，学生将讨论一些选定的主题。这将帮助巩固讲座中教授的知识。 实验与作业：在实验中，学生将动手操作以实践所学知识。他们将评估系统的性能并设计解决方案。作业将帮助学生复习课堂上教授的知识。