[发明专利]动作捕捉的处理方法和处理装置

权利要求书

1.一种动作捕捉的处理方法，其特征在于，包括：

获取多个拍摄相机所同步拍摄到的一视频信息组，其中，所述视频信息组中包含至少一个待识别的目标对象；

对所述目标对象的骨骼和/或关节点进行图像检测处理；

依据处理结果进行数据配准，以在所述视频信息组中的每个视频信息中建立由所述视频信息对应的拍摄相机的光心发射出的多组射线簇，其中，每组所述射线簇中的每条射线与所述目标对象的骨骼和/或关节点一一对应；

依据每个目标对象在多个所述视频信息中所建立的射线簇进行三维重建处理，得到所述目标对象的骨骼动态。

2.根据权利要求1所述的方法，其特征在于，在所述视频信息组中的每个视频信息中建立由所述视频信息对应的拍摄相机的光心发射出的多组射线簇之前，所述方法还包括：

获取每个所述拍摄相机的内参标定信息和位姿信息，其中，所述内参标定信息至少包括以下任意之一：镜头焦距、成像中心、倾斜因子、畸变参数，所述位姿信息由旋转矩阵和平移向量表示。

3.根据权利要求2所述的方法，其特征在于，对所述目标对象的骨骼和/或关节点进行图像检测处理，包括：

使用预先训练的图像识别模型，对所述视频信息组进行骨骼和/或关节点识别处理，其中，所述处理结果中包含被识别出的骨骼和/或被识别出的关节点的二维概率云图；

使用非极大值抑制法对所述二维概率云图进行计算处理，得到所述目标对象中被识别出的骨骼和/或被识别出的关节点在各个所述视频信息中的特征点位置。

4.根据权利要求3所述的方法，其特征在于，在所述视频信息包括多个待识别的目标对象的情况下，所述对所述目标对象的骨骼和/或关节点进行图像检测处理，还包括：

确定每个所述视频信息中属于同一目标对象的特征点位置；

基于二分图理论对每个所述视频信息中属于同一目标对象的特征点位置进行连接处理，以获取各个所述视频信息中所包含的目标对象的骨架连接信息。

5.根据权利要求3所述的方法，其特征在于，依据处理结果进行数据配准，以在所述视频信息组中的每个视频信息中建立由所述视频信息对应的拍摄相机的光心发射出的多组射线簇，包括：

依据每个所述拍摄相机的内参标定信息和位姿信息，为每个目标对象在多个视频信息中建立由所述视频信息对应的拍摄相机的光心发射出的射线簇，其中，所述射线簇中的每个射线均经过一个被识别出的骨骼的特征点位置或被识别出的关节点的特征点位置；

使用匈牙利算法对各个视频信息中的射线簇进行匹配处理，以确定相同的目标对象在不同视频信息中所建立的射线簇之间的对应关系，其中，所述对应关系包含：经过相同的骨骼特征点位置或被识别出的关节点的特征点位置的射线之间的关联关系。

6.根据权利要求1所述的方法，其特征在于，依据每个目标对象在多个所述视频信息中所建立的射线簇进行三维重建处理，得到所述目标对象的骨骼动态，包括：

使用最小二乘法对具有关联关系的射线进行计算处理，以拟合所述具有关联关系的射线所对应的骨骼或关节点的三维坐标；

依据预先设定的骨骼信息对所述三维坐标进行计算处理，确定每个视频信息中所有目标对象的骨骼动态，其中，所述预先设定的骨骼信息包括：目标对象所包含的骨骼的长度数据。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述视频信息中所有目标对象的骨骼动态进行滤波处理。