[发明专利]基于视频的姿态数据捕捉方法和系统

权利要求书

1.一种基于视频的姿态数据捕捉方法，其特征在于，所述方法包括如下步骤：

获取视频数据，其中，所述视频数据包含待捕捉对象运动的姿态动作数据；

将所述视频数据分解为至少一张图片；其中，每张图片对应所述视频数据的一帧图像；

基于第一神经网络模型，提取所述视频数据分解得到的每张图片中包含的待捕捉对象身上至少一个标记点的二维坐标数据；

基于第二神经网络模型，根据所述视频数据分解得到的每张图片中包含的待捕捉对象身上每个标记点的二维坐标数据，确定所述每个标记点在局部坐标系中对应的三维坐标数据，其中，所述局部坐标系是以所述待捕捉对象的质心确定的坐标系；

通过如下公式，基于所述待捕捉对象身上每个标记点在所述至少一张图片上的位置数据，根据所述每个标记点在局部坐标系中对应的三维坐标数据，确定所述待捕捉对象身上每个标记点在预设三维空间内对应的三维坐标数据：

其中，z是待捕捉对象在预设三维空间的近似深度，是所述第二神经网络模型输出的标记点坐标信息；是所述第二神经网络模型输出的所有标记点坐标信息的平均值；Kⁱ是所述第一神经网络模型输出的标记点坐标信息；是第一神经网络模型输出的所有标记点坐标信息的平均值。

2.根据权利要求1所述的一种基于视频的姿态数据捕捉方法，其特征在于，基于第一神经网络模型，提取所述视频数据分解得到的每张图片中包含的待捕捉对象身上至少一个标记点的二维坐标数据，包括：

将所述视频数据分解得到的每张图片输入第一神经网络模型，输出所述每张图片对应的至少一张置信图，其中，每张置信图中亮度最大的像素点的坐标对应待捕捉对象身上一个标记点的坐标；

根据所述每张图片对应的至少一张置信图，确定每张图片中包含的待捕捉对象身上至少一个标记点在每张图片中的二维坐标数据。

3.根据权利要求2所述的一种基于视频的姿态数据捕捉方法，其特征在于，在将所述视频数据分解得到的每张图片输入第一神经网络模型，输出所述每张图片对应的至少一张置信图之前，所述方法还包括：

获取图片样本库；其中，所述图片样本库包含多张样本图片；

标注所述图片样本库中每张样本图片包含的待捕捉对象身上的至少一个标记点；

使用所述图片样本库中的多张样本图片和样本图片上标注的至少一个标记点，通过机器学习训练得到所述第一神经网络模型。

4.根据权利要求2所述的一种基于视频的姿态数据捕捉方法，其特征在于，根据所述每张图片对应的至少一张置信图，确定每张图片中包含的待捕捉对象身上至少一个标记点在每张图片中的二维坐标数据，包括：

通过如下高斯响应图公式，确定每张置信图对应的标记点的二维坐标：

其中，G(x,y)表示每张置信图上像素点的高斯分布；σ表示高斯分布的标准偏差，(x,y)表示每张置信图上每个像素点的坐标。

5.根据权利要求3所述的一种基于视频的姿态数据捕捉方法，其特征在于，使用所述图片样本库中的多张样本图片和样本图片上标注的至少一个标记点，通过机器学习训练得到所述第一神经网络模型，包括：

基于如下目标函数训练所述第一神经网络模型：

其中，E表示目标函数，H′_j(x，y)是预测的样本图片上每个标记点的坐标，H_j(x，y)是样本图片标注的标记点的坐标，N表示训练样本的个数，j为自然数。