[发明专利]一种图像处理方法及装置

权利要求书

1.一种图像处理方法，其特征在于，所述方法包括：

获取训练样本集，所述训练样本集包括至少一个彩色样本图像，以及至少一个与所述彩色样本图像对应的深度样本图像；

将所述训练样本集输入图像处理模型进行处理，所述图像处理模型包括彩色图像处理模型以及深度图像处理模型，所述彩色图像处理模型用于对所述彩色样本图像进行处理得到彩色重构图像，所述深度图像处理模型用于对所述深度图像进行处理得到深度重构图像；

基于所述彩色样本图像、所述彩色重构图像、所述深度样本图像与所述深度重构图像确定所述图像处理模型的第一损失参数，并基于所述第一损失参数调整所述深度图像处理模型，得到训练后的深度图像处理模型；

将所述深度样本图像输入至所述训练后的深度图像处理模型的第二编码模块，输出编码后的第二深度样本图像；基于所述编码后的第二深度样本图像和所述机器人的状态标签，确定控制模型的第五损失参数；基于所述第五损失参数调整控制模型，得到训练后的控制模型。

2.根据权利要求1所述的方法，其特征在于，所述基于所述编码后的第二深度样本图像和所述机器人的状态标签，确定控制模型的第五损失参数，包括：

将编码后的第二深度样本图像输入至所述控制模型，得到所述机器人的预测状态信息；

基于所述机器人的预测状态信息和所述机器人状态标签，确定所述第五损失参数。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于所述第一损失参数调整所述彩色图像处理模型，得到训练后的彩色图像处理模型。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

控制机器人对目标对象执行目标任务时，获取包含所述目标对象的目标彩色图像；

将所述目标彩色图像输入至所述训练后的彩色图像处理模型的第一编码模块，输出编码后的目标彩色图像；

将所述编码后的目标彩色图像输入至所述训练后的控制模型，得到所述机器人的结果状态信息，基于所述结果状态信息对所述机器人进行控制。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

控制机器人对目标对象执行目标任务时，获取包含所述目标对象的目标彩色图像和目标深度图像；

将所述目标彩色图像输入至所述训练后的彩色图像处理模型的第一编码模块，输出编码后的目标彩色图像；

将所述目标深度图像输入至所述训练后的深度图像处理模型的第二编码模块，输出编码后的目标深度图像；

将所述编码后的目标彩色图像和编码后的目标深度图像输入至所述训练后的控制模型，得到所述机器人的结果状态信息，基于所述结果状态信息对所述机器人进行控制。

6.根据权利要求3所述的方法，其特征在于，所述获取训练样本集包括：

对采集到的彩色样本图像和采集到的深度样本图像进行数据增强处理以增加样本数量，得到所述训练样本集。

7.根据权利要求3所述的方法，其特征在于，所述彩色图像处理模型包括第一编码模块，所述深度图像处理模型包括第二编码模块，

所述基于所述彩色样本图像、所述彩色重构图像、所述深度样本图像与所述深度重构图像确定所述图像处理模型的第一损失参数，包括：

将所述彩色样本图像输入至所述彩色图像处理模型的第一编码模块中，输出编码后的第一彩色样本图像；

将所述深度样本图像输入至所述彩色图像处理模型的第二编码模块中，输出编码后的第一深度样本图像；

基于所述编码后的第一彩色样本图像和所述编码后的第一深度样本图像，得到第一损失参数。