[发明专利]一种图像处理方法及装置

说明书

本发明提供了一种图像处理方法及装置。该方法包括：获取目标二维图像内的手部关键点对应的特征图，其中，每个手部关键点对应一个特征图；将特征图输入至预先经过训练的多层级修正网络，生成修正后的特征图，其中，多层级修正网络用于修正相邻手指对应的手部关键点之间的位置偏移；对每个修正后的特征图分别作归一化处理，生成多个目标特征图；对于每一个目标特征图，将目标特征图分别与第一坐标矩阵和第二坐标矩阵作内积运算，生成目标特征图对应的目标手部关键点的坐标，其中，所述第一坐标矩阵、所述第二坐标矩阵均为由坐标构成的矩阵。本发明提升了对手部关键点识别的空间泛化能力、抗噪能力以及准确率。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法及装置。

背景技术

随着深度学习技术的发展，在现有的手部姿态估计算法中，对手部关键点的坐标识别可以分为以下两种方式：

一种方式是通过多层卷积神经网络(CNN)来获取图像特征，然后通过全连接(FC)层来直接得到手部关键点的坐标，但是该方法的泛化性很大程度依赖于神经网络的训练数据集，因此存在着空间泛化能力不足的问题。

另一种方式则是通过求解二维图像的手部关键点的特征图中响应值最大的点，并将该点确定为手部关键点，从而将该点所处的空间拓扑位置作为该手部关键点的坐标。但是这种方式中存在着细微的噪声，会对所识别到的手部关键点的坐标有极大的影响，因此存在着抗噪能力差、坐标识别准确率低的问题。

此外，由于手部关键点较为密集，容易造成手部关键点位置的识别不准确的问题。

发明内容

本发明实施例提供一种图像处理方法及装置，以解决相关技术中对手部关键点的识别方法所存在的空间泛化能力不足、抗噪能力弱、准确率低的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种图像处理方法，应用于电子设备，所述方法包括：

获取目标二维图像内的手部关键点对应的特征图，其中，每个所述手部关键点对应一个特征图；

将所述特征图输入至预先经过训练的多层级修正网络，生成修正后的特征图，其中，所述多层级修正网络用于修正相邻手指对应的手部关键点之间的位置偏移；

对每个所述修正后的特征图分别作归一化处理，生成多个目标特征图；

对于每一个目标特征图，将所述目标特征图分别与第一坐标矩阵和第二坐标矩阵作内积运算，生成所述目标特征图对应的目标手部关键点的坐标，其中，所述第一坐标矩阵、所述第二坐标矩阵均为由坐标构成的矩阵。

第二方面，本发明实施例还提供了一种图像处理装置，应用于电子设备，该装置包括：

第一获取模块，用于获取目标二维图像内的手部关键点对应的特征图，其中，每个所述手部关键点对应一个特征图；

修正模块，用于将所述特征图输入至预先经过训练的多层级修正网络，生成修正后的特征图，其中，所述多层级修正网络用于修正相邻手指对应的手部关键点之间的位置偏移；

归一化模块，用于对每个所述修正后的特征图分别作归一化处理，生成多个目标特征图；

第一生成模块，用于对于每一个目标特征图，将所述目标特征图分别与第一坐标矩阵和第二坐标矩阵作内积运算，生成所述目标特征图对应的目标手部关键点的坐标，其中，所述第一坐标矩阵、所述第二坐标矩阵均为由坐标构成的矩阵。

第三方面，本发明实施例还提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现所述的图像处理方法的步骤。