[发明专利]预测人脸图像的关键点坐标的方法和装置

权利要求书

1.一种预测人脸图像的关键点坐标的方法，包括：

通过卷积神经网络层获取人脸图像的多级特征图；

通过全连接层将所述多级特征图中的最后一级特征图进行全连接以获取初始查询矩阵，其中，初始查询矩阵表示人脸图像的关键点的初始特征，其中，初始查询矩阵中元素的数量等于人脸图像的关键点的数量；

通过对多级特征图进行展平和连接操作获取记忆特征矩阵；

将记忆特征矩阵和初始查询矩阵输入级联的至少一个解码器层以确定人脸图像的关键点坐标。

2.如权利要求1所述的方法，

其中，每个解码器层包括级联的自注意力模块层、可变形注意力模块层和关键点坐标预测层，

其中，所述确定人脸图像的关键点坐标的步骤包括：

将嵌入了位置信息的初始查询矩阵、嵌入了位置信息的初始查询矩阵和初始查询矩阵作为第一个解码器层的自注意力模块层的查询矩阵、键矩阵和值矩阵输入到第一解码器层的自注意力模块层；

将当前解码器层的自注意力模块层的输出矩阵、记忆特征矩阵和上一解码器层预测的关键点坐标输入到当前解码器层的可变形注意力模块层以获得可变形注意力模块层的输出矩阵，其中，自注意力模块层的输出矩阵和记忆特征矩阵为可变形注意力模块层的查询矩阵和值矩阵，其中，输入到第一解码器层的可变形注意力模块层的上一解码器层预测的关键点坐标为基于初始查询矩阵获得的初始关键点坐标；

将当前解码器层的可变形注意力模块层的输出矩阵、嵌入了位置信息的可变形注意力模块层的输出矩阵和嵌入了位置信息的可变形注意力模块层的输出矩阵作为级联的下一解码器层的自注意力模块层的值矩阵、查询矩阵和键矩阵输入到下一解码器层的自注意力模块层；

将当前解码器层的可变形注意力模块层的输出矩阵输入到当前解码器层的关键点坐标预测层以获得当前解码器层预测的人脸图像的关键点坐标，其中最后一个解码器层预测的人脸图像的关键点坐标作为最终的人脸图像的关键点坐标。

3.如权利要求2所述的方法，其中，每个解码器层的自注意力模块层的输出矩阵通过以下公式获得：

其中，表示输出矩阵中的第i个行向量，α_ij表示对输入到自注意力模块层的查询矩阵的第i个行向量与输入到自注意力模块层的键矩阵的第j个行向量的点积执行归一化获得的注意力权重，q_j表示初始查询矩阵或上一解码器层的变形注意力层的输出矩阵中的第j个行向量，N表示人脸图像的关键点的数量。

4.如权利要求3所述的方法，其中，每个解码器层的可变形注意力模块层的输出矩阵通过以下公式获得：

其中，f_i表示第i个关键点的更新的特征，β_ik表示对输入到可变形注意力模块层的查询矩阵执行全连接操作和softmax操作而获得的注意力权重，x_ik表示记忆特征矩阵中的与第k个参考点坐标相应的特征，其中，第k个参考点坐标与上一解码器层预测的关键点坐标中的第i个关键点坐标之间的位置偏移是通过对输入到可变形注意力模块层的查询矩阵执行全连接操作得到的，其中，K为预设值。

5.如权利要求2所述的方法，其中，每个解码器层预测的关键点坐标通过以下公式获得：

y＝σ(y_O+σ^-1(y_R))

其中，y表示当前解码器层预测的关键点坐标，y_R表示上一解码器层预测的关键点坐标或初始关键点坐标，y_O表示关键点坐标预测层的输出，指示y相对于y_R的偏移。

6.如权利要求2所述的方法，其中卷积网络层、全连接层以及至少一个解码器层通过基于以下回归损失函数利用训练图像样本进行训练而获得：

其中，L_reg表示回归损失，y_l表示每个解码器层预测的训练图像样本的关键点坐标，表示训练图像样本的实际的关键点坐标，L_d为解码器层的数量，l为解码器层的索引。