[发明专利]一种基于深度相机的速度与力量反馈系统

权利要求书

1.一种基于深度相机的速度与力量反馈系统，其特征在于，包括图像采集模块、人体捕捉模块、运动监测模块和速度和力量计算模块；

所述图像采集模块运用内置视觉传感器分别对运动员和运动员外部环境监测，图像采集模块可同时完成彩色图像和深度图像的采集；所述图像采集模块由两个深度相机组成，按照十字型将两个深度相机进行横竖安装固定；

所述人体捕捉模块用于定位人体16个关节点，以Exc-Pose轻量化人体姿态检测算法为核心，Exc-Pose轻量化人体姿态检测算法包括目标检测和姿态检测，具体包括E-Shufflenet编码层、RLE-Decoder解码层和WFU模块；其中E-Shufflenet编码层通过三分支结构能够提取精细的底层特征，RLE-Decoder解码层通过残差对数似然估计和重参数化，针对提取到的底层特征进行基于回归的模型监督学习直接回归出目标关节点的坐标值；

输入图像后，经过一次卷积操作和最大池化操作，然后通过由不同数量shuffle单元堆叠而成的Stage2、Stage3、Stage4三个阶段，其中每个阶段第一个模块采用stride＝2的shuffle单元来实现降采样功能，Stage2和Stage4均由一个stride＝2的shuffle单元和3个stride＝1的shuffle单元堆叠而成；E-Shufflenet将网络分成三分支，构成E型结构，这些分支分别对目标底层特征进行学习；具体操作是：在Stage2结束后，把Stage3和Stage4复制两份组成3分支E型结构，其中Stage3-1、Stage3-2、Stage3-3在采用stride＝2的shuffle单元后，分别继续堆叠5个、7个、9个stride＝1的shuffle单元，然后接一个Stage4，使网络学习不同程度的图像特征；

stride＝1的shuffle单元，先采用通道分离操作将通道数划分为两个分支来代替原来的组卷积结构，把1×1组卷积换成1×1普通卷积，取消接下来的通道重排操作，在3×3深度可分离卷积和1×1普通卷积结束后，采用串联的方式替换原有直接相加的方式将两个通道联系起来，最后再进行通道重排操作融合组与组之间的信息；stride＝2的shuffle单元，取消通道分离操作，同时采用3×3深度可分离卷积和1×1普通卷积替换原来的3×3平均池化操作；

针对E-Shufflenet编码层学习到的图像特征，RLE-Decoder解码层通过回归模型来预测人体16个关节点的坐标值所对应的置信度；

WFU模块将16个关节点的坐标值所对应的置信度作为输入传递给特征聚合单元，然后进行Concat操作，将结果合并成一个3×16的矩阵，其中每一行代表不同分支，每一列代表该分支不同关节点坐标的置信度；然后进行Split操作，即把这个矩阵按列切分成16个1×3的矩阵，其中每个矩阵代表人体姿态某一部位三种不同置信度的堆叠，如A₀即三个分支学习到的头部关节点坐标的置信度；然后通过max函数输出A₀,A₁,A₂,...,A₁₅中最大置信度对应的关节点坐标a₀,a₁,a₂,...,a₁₅；最后进行Concat操作即得到一个全新的人体姿态16个关节点对应的坐标；对每个分支所产生的结果进行基于权重的智能通道集成，由于是三分支结构，集成过程公式如下式：

式中，j代表第j通道，T_S为最终集成的特征，T_j为第j条通道内的待融合特征值，C_j为第j条通道，K_j％代表每条通道生成的特征占所有通道的比重；

所述运动监测模块用于判断真伪运动，对人体捕捉模块检测出的人体16个关节点的坐标值进行筛选得到手部关节点，在手部关节点的基础上生成手部区域，在该区域内以Exc二分类算法进行真伪运动判断；所述力量计算模块用于计算运动技术指标，采用多帧融合的卡尔曼滤波算法计算；

所述速度与力量反馈系统的工作方法的具体步骤如下：

S1：在两台深度相机所采集的彩色与深度视频中，逐帧获取带有运动员的图像，对图像进行增强处理；

S2：使用基于对数似然估计与回归模型的Exc-Pose轻量化人体姿态检测算法进行人体检测，分割出图像中人体区域；

S3：将检测出的人体区域，提取手部关节点的坐标值，并转换为力量计算模块的运动技术指标，如速度、功率、平均速度和平均功率。