开题报告

基于手部关键点时间序列的手部运动疾病诊断

摘要

​ 目前颈椎病、帕金森病等呈现出年轻化的趋势，借助人工智能技术实现疾病的早期预测是非常具有研究意义的。在临床上，医生通常会结合一次手部抓握试验，来给出患者病情的初步诊断，而人眼往往很难统计和分析抓握运动过程中的运动特征。
​ 为解决上述问题，本课题提出了基于手部关键点时间序列的手部运动疾病诊断方案，对十秒抓握视频进行分析，得到患者的疾病类型。

手部关键点检测分析：手部关键点检测是指在给定的手部图像上，检测定位出能够反应手部结构的21个主要关节点的坐标位置。

时间序列疾病分类：时间序列是指以离散时间顺序索引的一系列数据点，这些数据点在现实世界的应用中无处不在，如财务风险评估、能源可持续性、天气预报和疾病预测。与具有客观语法或直观模式的图像和文本数据相比，时间序列数据的语义信息主要来源于时间变化。这在理解数据方面带来了重大挑战，例如识别序列依赖性、趋势、季节性模式和复杂的动态。因此，分析时间序列数据需要复杂的方法来捕捉和利用这些复杂的时间表示。通过捕获这些复杂的依赖关系，时间序列模型可以有效地揭示潜在的动态信息，应用于预测、分类和异常检测等领域。

技术路线图

手部关键点检测模块

1. 应用数据预处理技术如噪声滤波和插值方法，以清理数据并补全丢失的关键点
2. 采用迁移学习和域适应技术以提高模型在新个体和新环境中的表现
3. 研究PCT模型对人体关节点encoder-decoder原理，将其应用在手部关键点领域，以解决遮挡问题和手部关键点依赖问题

手部关键点检测流程图

• 研究如何更好地将手部关键点之间的空间关系编码到tokens中，如在主干网络中增加多尺度特征融合注意力机制，以增强模型对姿态结构的理解。
• 借鉴Dynamic Head的自适应头部结构，通过注意力机制动态调整特征的表示方式，在分类头融入动态检测头，生成自适应的token，用于手部姿态估计。
• 使用前k帧关键点位置信息对当前位置进行约束，以指导关键点的定位。

手部关键点运动特征分析模块

1. 研究从十秒抓握视频中挖掘更丰富的语义特征
2. 研究基于深度学习的时间序列分类方法，完成对不同疾病类型的预测

时间序列分类模块流程图

• 为了捕捉视频在时间域上的季节性和趋势，拟对输入的时间序列进行分块编码，如将十秒抓握视频分段为前中后三个时间段、提取连续k个抓握周期的上升沿作为输入数据编码
• 为有效捕捉手部抓握跨帧的长距离依赖关系，尝试使用空洞卷积（Dilated Convolutions）来增加感受野，而不增加参数数量。
• 借鉴TimesNet的二维尺度变换思想，将一维时间数据拓展至二维空间进行分析，充分实现手部抓握周期内与周期间变化的统一建模，增加模型对时间域的感知能力。