[发明专利]基于视频的姿态数据捕捉方法和系统

说明书

本申请公开了一种基于视频的姿态数据捕捉方法和系统，所述方法包括如下步骤：获取视频数据，将视频数据分解为至少一张图片；基于第一神经网络模型，提取视频数据分解得到的每张图片中包含的待捕捉对象身上至少一个标记点的二维坐标数据；基于第二神经网络模型，根据待捕捉对象身上每个标记点的二维坐标数据，确定每个标记点在局部坐标系中对应的三维坐标数据；基于待捕捉对象身上每个标记点在至少一张图片上的位置数据，根据每个标记点在局部坐标系中对应的三维坐标数据，确定待捕捉对象身上每个标记点在预设三维空间内对应的三维坐标数据。本申请实现了从包含了待捕捉对象运动姿态动作的视频中提取姿态数据的目的。

技术领域

本申请涉及机器视觉领域，尤其涉及一种基于视频的姿态数据捕捉方法和系统。

背景技术

动作捕捉是指通过对物体在三维空间中的运动进行记录，并将其运动轨迹模拟到数字模型中。例如，通过检测、记录表演者的肢体在三维空间的运动轨迹，捕获表演者的姿态动作，将捕获的姿态动作转换为数字化的抽象动作，以控制软件应用中的虚拟模型做出和表演者相同的动作，生成动画序列。近年来，动作捕捉技术被广泛应用于虚拟现实、三维游戏、人体生物工程学等很多领域。

传统的动作捕捉技术主要有如下三种：

第一种，光学动作捕捉技术。这种技术需要专门的环境，要求周围无明显干扰，需要专门演员穿戴光学动捕设备捕捉动作。虽然光学动作捕捉技术的捕捉结果精度高，但需要有场地、设备和人员的要求，使用成本高。

第二种，惯性动作捕捉技术。这种技术需要专业表演者穿戴各种动作捕捉设备，由于这些动作捕捉设备绑在人体关节点上，能够采样人体运动的速度和加速度，以此推断出人体关节的位置和动作。但这种技术因设备的精度问题，捕捉效果比光学动作捕捉技术差，且无法解决虚拟角色脚跟紧贴地面的问题。同样，惯性动作捕捉技术也需要有设备和人员的要求。

第三种，端对端的3D姿态数据生成。这种方式需要获取真实环境下的3D人体数据，困难较大，且需要额外的设备。因此采用将图片作为网络输入来直接输出3D位置是很困难的。为了解决数据不足的问题，这种方案采用更换背景，更换人体衣服的方式进行训练，捕捉效果不是十分理想。

分析可知，现有技术中，基于视频的姿态数据捕捉方式需要借助场地、设备和人员的支持，影响工作效率，成本较高，捕捉效果较差。

发明内容

为了解决上述问题，本申请提出了一种基于视频的姿态数据捕捉方法，该方法包括如下步骤：获取视频数据，其中，视频数据包含待捕捉对象运动的姿态动作数据；将视频数据分解为至少一张图片；其中，每张图片对应视频数据的一帧图像；基于第一神经网络模型，提取视频数据分解得到的每张图片中包含的待捕捉对象身上至少一个标记点的二维坐标数据；基于第二神经网络模型，根据视频数据分解得到的每张图片中包含的待捕捉对象身上每个标记点的二维坐标数据，确定每个标记点在局部坐标系中对应的三维坐标数据，其中，局部坐标系是以待捕捉对象的质心确定的坐标系；基于待捕捉对象身上每个标记点在至少一张图片上的位置数据，根据每个标记点在局部坐标系中对应的三维坐标数据，确定待捕捉对象身上每个标记点在预设三维空间内对应的三维坐标数据。

在一个示例中，基于第一神经网络模型，提取所述视频数据分解得到的每张图片中包含的待捕捉对象身上至少一个标记点的二维坐标数据，包括：将视频数据分解得到的每张图片输入第一神经网络模型，输出每张图片对应的至少一张置信图，其中，每张置信图中亮度最大的像素点的坐标对应待捕捉对象身上一个标记点的坐标；根据每张图片对应的至少一张置信图，确定每张图片中包含的待捕捉对象身上至少一个标记点在每张图片中的二维坐标数据。