[发明专利]图像处理方法、神经网络的训练方法、装置、设备和介质

说明书

本公开提供了一种图像处理方法、神经网络的训练方法、装置、设备和介质，涉及人工智能技术领域，尤其涉及深度学习和计算机视觉。实现方案为：将源域图像和目标域图像输入匹配特征提取网络，以提取源域图像的匹配特征和目标域图像的匹配特征，其中，源域图像的匹配特征和目标域图像的匹配特征为源域图像和目标域图像中的互相匹配的特征，源域图像为基于预定物体姿态参数进行渲染而生成的仿真图像，目标域图像为真实拍摄的适用于物体姿态估计学习的真实图像；提供源域图像的匹配特征以用于物体姿态估计的训练。

技术领域

本公开涉及人工智能技术领域，尤其涉及深度学习和计算机视觉，具体涉及一种图像处理方法、神经网络的训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术:人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

目前，可以通过各种策略进行物体姿态估计，例如，2D关键点直接检测、像素级的热度图预测或者像素级的方向向量场预测。基于深度学习的物体姿态估计的精度取决于训练数据的准确性和丰富性。

然而，对于真实图像，标注数据的时间成本和人力成本较高，并且，人工标注往往不能保证标注的准确性；对于仿真图像，虽然其包含大量带有精确注释的图像，但是，仿真图像与真实图像之间存在明显差异，因而不能被直接用于训练物体姿态估计网络。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种图像处理方法、神经网络的训练方法、装置、设备和介质。

根据本公开的一方面，提供了一种图像处理方法，包括：将源域图像和目标域图像输入匹配特征提取网络，以提取源域图像的匹配特征和目标域图像的匹配特征，其中，源域图像的匹配特征和目标域图像的匹配特征为源域图像和目标域图像中的互相匹配的特征，源域图像为基于预定物体姿态参数进行渲染而生成的仿真图像，目标域图像为真实拍摄的适用于物体姿态估计学习的真实图像；提供源域图像的匹配特征以用于物体姿态估计的训练。

根据本公开的另一方面，提供了一种神经网络的训练方法，神经网络包括匹配特征提取网络和判别器网络，训练方法包括以下步骤：将源域图像样本和目标域图像样本输入匹配特征提取网络，以提取源域图像样本的匹配特征和目标域图像样本的匹配特征，其中，源域图像样本的匹配特征和目标域图像样本的匹配特征为源域图像样本和目标域图像样本中的互相匹配的特征，源域图像为基于预定物体姿态参数进行渲染而生成的仿真图像，目标域图像为真实拍摄的适用于物体姿态估计学习的真实图像；将源域图像样本的匹配特征输入判别器网络，以计算源域图像样本的匹配特征的判别结果，并且，将目标域图像样本的匹配特征输入判别器网络，以计算目标域图像样本的匹配特征的判别结果；基于目标域图像样本的匹配特征的判别结果，计算第一损失值，并且，基于第一损失值调整匹配特征提取网络的参数；基于源域图像样本的匹配特征的判别结果和目标域图像样本的匹配特征的判别结果，计算第二损失值，并且，基于第二损失值调整判别器网络的参数；响应于确定所述第一损失值和所述第二损失值符合预设条件，结束所述训练方法；响应于确定所述第一损失值和所述第二损失值不符合预设条件，获取下一张源域图像样本和下一张目标域图像样本，并重复上述步骤。