[发明专利]一种通过2D图像推断人体动作姿态的方法及装置

权利要求书

1.一种通过2D图像推断人体动作姿态的方法，其特征在于包括以下步骤：

2D图像获取步骤：获取含有人体动作的2D图像；

置信图计算步骤：对所述2D图像做卷积神经网络算法得到对应的置信图；

匹配步骤：将2D图像对应的置信图与预设的3D模型数据库进行匹配，从而得到所述2D图像对应的3D模型；其中，3D模型数据库为通过人体佩戴相应的采集设备，并对人体动作时关节自由度进行记录，进而构建一个由20万个具有代表性的3D动作组成的人体动作3D模型数据库；所述将2D图像对应的置信图与预设的3D模型数据库进行匹配时采用托马西-金出武雄算法进行匹配得出3D模型；

映射步骤：将所述3D模型在任意平面视角下进行映射，从而获取每个平面视角下的人体动作姿态；所述映射步骤包括：对于3D模型固定z轴，即以z轴为旋转轴进行旋转，步进值为1°；将每个步进角度所投射的2D图像与获取包含人体动作的2D图像作对比，得到置信度最高的那个步进角度所对应的人体动作姿态模型，就是2D图像所对应的人体动作姿态；其中，置信度为3D模型所投射的2D图像与获取包含人体动作的2D图像中每个关节自由度的相似度；

所述匹配步骤之前还包括归一化步骤：将3D模型数据库中的所有3D模型所在的坐标系归一化为同一坐标系。

2.如权利要求1所述的方法，其特征在于：所述3D模型是由一系列人体上的多个关节自由度的节点以及关节自由度的节点之间的连线组成的人体模型示意图。

3.如权利要求1-2中任一项所述的方法，其特征在于：所述3D模型数据库中，每个3D模型均表示为一个(3×L)的矩阵P_i，i∈{1,2,3,...L}，矩阵中的每个元素表示人体动作模型中关节自由度。

4.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现以下步骤：

2D图像获取步骤：获取含有人体动作的2D图像；

置信图计算步骤：对所述2D图像做卷积神经网络算法得到对应的置信图；

匹配步骤：将2D图像对应的置信图与预设的3D模型数据库进行匹配，从而得到所述2D图像对应的3D模型；其中，3D模型数据库为通过人体佩戴相应的采集设备，并对人体动作时关节自由度进行记录，进而构建一个由20万个具有代表性的3D动作组成的人体动作3D模型数据库；所述将2D图像对应的置信图与预设的3D模型数据库进行匹配时采用托马西-金出武雄算法进行匹配得出3D模型；

映射步骤：将所述3D模型在任意平面视角下进行映射，从而获取每个平面视角下的人体动作姿态；所述映射步骤包括：对于3D模型固定z轴，即以z轴为旋转轴进行旋转，步进值为1°；将每个步进角度所投射的2D图像与获取包含人体动作的2D图像作对比，得到置信度最高的那个步进角度所对应的人体动作姿态模型，就是2D图像所对应的人体动作姿态；其中，置信度为3D模型所投射的2D图像与获取包含人体动作的2D图像中每个关节自由度的相似度；

所述匹配步骤之前还包括归一化步骤：将3D模型数据库中的所有3D模型所在的坐标系归一化为同一坐标系。

5.如权利要求4所述的电子设备，其特征在于：所述3D模型是由一系列人体上的多个关节自由度的节点以及关节自由度的节点之间的连线组成的人体模型示意图。

6.如权利要求4-5中任一项所述的电子设备，其特征在于：所述3D模型数据库中，每个3D模型均表示为一个(3×L)的矩阵P_i，i∈{1,2,3,...L}，矩阵中的每个元素表示人体动作模型中关节自由度。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-3中任一项所述的通过2D图像推断人体动作姿态的步骤。

8.一种通过2D图像推断人体动作姿态的装置，其特征在于包括：

2D图像获取模块，用于获取含有人体动作的2D图像；

置信图计算模块，用于对所述2D图像做卷积神经网络算法得到对应的置信图；

匹配模块，用于将2D图像对应的置信图与预设的3D模型数据库进行匹配，从而得到所述2D图像对应的3D模型；其中，3D模型数据库为通过人体佩戴相应的采集设备，并对人体动作时关节自由度进行记录，进而构建一个由20万个具有代表性的3D动作组成的人体动作3D模型数据库；所述将2D图像对应的置信图与预设的3D模型数据库进行匹配时采用托马西-金出武雄算法进行匹配得出3D模型；

映射模块，用于将所述3D模型在任意平面视角下进行映射，从而获取每个平面视角下的人体动作姿态；所述映射步骤包括：对于3D模型固定z轴，即以z轴为旋转轴进行旋转，步进值为1°；将每个步进角度所投射的2D图像与获取包含人体动作的2D图像作对比，得到置信度最高的那个步进角度所对应的人体动作姿态模型，就是2D图像所对应的人体动作姿态；其中，置信度为3D模型所投射的2D图像与获取包含人体动作的2D图像中每个关节自由度的相似度；所述匹配模块之前还包括归一化模块：将3D模型数据库中的所有3D模型所在的坐标系归一化为同一坐标系。