[发明专利]基于感兴趣区域变换的人体关键点检测方法、装置与系统

权利要求书

1.一种基于感兴趣区域变换的人体关键点检测方法，其特征在于，包括以下步骤：

步骤1、获取M张包含人体的彩色图像，M为大于1000的自然数；

步骤2、对每张彩色图像标注N个人体关键点，得到标注数据；其中，所述人体关键点包括脸部关键点以及肢体关键点，且脸部关键点数量多于肢体关键点；

步骤3、根据标注的人脸关键点的坐标确定彩色图像的人脸边界框；

步骤4、根据人脸中心点和人脸尺寸对每张彩色图像及标注数据进行感兴趣区域变换，得到变换后的图像及变换后的人体关键点坐标；所述人脸中心点和人脸尺寸根据人脸边界框确定；

步骤5、基于感兴趣区域变换后的图像及变换后的人体关键点坐标，训练用于检测人体关键点的人体关键点检测模型；

步骤6、对于输入的包含人体的待检测图像，使用人脸检测器检测出人脸边界框，然后根据所述步骤4的方法对待检测图像进行感兴趣区域变换，提升图像中人脸的占比，得到变换后的图像；

步骤7、使用步骤5训练的人体关键点检测模型检测变换后的图像中的人体关键点；以及

步骤8、将变换后的图像中的人体关键点进行感兴趣区域反变换，得到变换前待检测图像的人体关键点；

其中，所述步骤2中，对每张彩色图像标注N个人体关键点，得到的标注数据表达为：

其中，为第m幅图像的第n个关键点坐标，m＝0，1，2，...，M-1，n＝0，1，2，...，N-1；

其中，所述步骤4中，根据人脸中心点和人脸尺寸对每张彩色图像及标注数据进行感兴趣区域变换，得到变换后的图像及变换后的关键点坐标，包括：

以人脸边界框的中心点为人脸中心点，以边界框长边的长度为人脸尺寸，根据人脸中心点和尺寸，将图像和对应的人体关键点进行感兴趣区域变换，得到变换后的数据表达为：

{[I₀，(p_0，0，p_0，1，...，p_0，N-1)]，[I₁，(p_1，0，p_1，1，...，p_1，N-1)]，...，[I_M-1，(p_M-1，0，p_M-1，1，...，p_M-1，N-1)]}

其中p_m，n＝(x_m，n，y_m，n)为第m幅变换后的图像I_m的第n个变换后的人体关键点坐标，变换后图像的边长为L，L为正整数；

变换后的图像I_m中各像素值是从图像中采样得到的，x_indices，m为从图像采样的位置横坐标列表，y_indices，m为从图像采样的位置纵坐标列表，其具体获取方式如下：

x_indices，m＝(x_face，m+warp_RoI，m(0)，x_face，m+warp_RoI，m(1)，...，x_face，m+warp_RoI，m(L-1))

y_indices，m＝(y_face，m+warp_Rol，m(0)，y_face，m+warp_RoI，m(1)，...，y_face，m+warp_Rol，m(L-1))

warp_RoI，m(t)＝a_m/2·arctanh(2t/L-0.9)

其中，warp_ReI，m(t)为第m幅图像的感兴趣区域变换函数，t为函数输入，t＝0，1，2，...，L-1；

其中，图像感兴趣区域变换采用opencv图像处理库中的remap方法，参数map1设置为x_indices，m，参数map2设置为y_indices，m；

感兴趣区域变换后的人体关键点(x_m，n，y_m，n)通过遍历的方法计算得到。