[发明专利]图像处理方法、装置及存储介质

权利要求书

1.一种图像处理方法，其特征在于，所述方法包括：

获取指定场景的稀疏深度图；

获取所述稀疏深度图中分别属于指定的n个深度范围的n个输入图像，n为大于1的整数；

获取所述指定场景的彩色图像；

将所述n个输入图像以及所述彩色图像输入深度模型，所述深度模型包括按照指定顺序连接的n个子模型，所述n个输入图像与所述n个子模型一一对应，所述n个子模型对应所述n个深度范围，所述n个子模型对应的所述n个深度范围按照所述指定顺序依次增大，所述子模型为沙漏模型，所述沙漏模型具有m个下采样层以及m个上采样层，所述m为大于0的整数，所述n个子模型分别根据所述彩色图像对所述n个输入图像进行深度补全，得到对应的n个特征图以及n个深度预测图，包括：将所述彩色图像进行n-1+m次下采样，以获取n-1+m种分辨率的彩色子图像；对于第t个子模型，将所述第t个子模型对应的输入图像输入所述第t个子模型；将所述n-1+m种分辨率的彩色子图像中，具有与所述第t个子模型中的m个下采样层的结果相同分辨率的彩色子图像分别与所述第t个子模型中的m个下采样层的结果进行像素融合，得到m个融合结果；将所述m个融合结果分别输入所述第t个子模型中的m个上采样层；通过将分别输入所述m个上采样层的m个融合结果像素融合，获取第m个上采样层输出的所述第t个子模型的特征图；根据所述第t个子模型的特征图输出所述第t个子模型的深度预测图；对于第t个子模型，当t=1时，第t个子模型对应的深度预测图为第t个子模型输出的深度预测图，当t＞1时，第t个子模型对应的深度预测图为第t个子模型输出的深度预测图和第t-1个子模型对应的深度预测图的融合图，0＜t≤n，所述n个子模型中，每个子模型的输入包括所述彩色图像以及每个子模型对应的输入图像，除第1个子模型外的其它子模型中，每个子模型的输入还包括前一个子模型对应的深度预测图和对应的特征图，且第n个子模型对应的深度预测图为所述深度模型输出的稠密深度图；

得到所述深度模型输出的稠密深度图。

2.根据权利要求1所述的方法，其特征在于，所述获取指定场景的稀疏深度图中分别属于指定的n个深度范围的n个输入图像，包括：

采用第一目标公式对所述稀疏深度图进行n-1次下采样；

将所述稀疏深度图以及所述n-1次下采样后的稀疏深度图作为所述n个输入图像；

所述第一目标公式包括：

其中，所述表示所述输入图像，所述sD表示待下采样的稀疏深度图，所述k表示所述子模型的序号，0≤k＜n，所述表示平均池化，所述为常数，用于保证所述第一目标公式的分母不为0，所述C表示有效模板，若所述待下采样的稀疏深度图sD中坐标为的像素点为有效点，则，否则。

3.根据权利要求1所述的方法，其特征在于，所述得到所述深度模型输出的稠密深度图之后，所述方法还包括：

获取所述指定场景中分别属于所述指定的n个深度范围的n个稠密深度真值图；

根据所述n个稠密深度真值图以及与所述n个子模型对应的n个深度预测图确定所述深度模型的总损失；

根据所述总损失对所述n个子模型进行优化，直至所述总损失小于指定损失。

4.根据权利要求3所述的方法，其特征在于，所述根据所述n个稠密深度真值图以及所述对应的n个深度预测图确定所述深度模型的总损失，包括：

根据所述n个稠密深度真值图、与所述n个子模型对应的n个深度预测图以及第二目标公式，确定所述深度模型的总损失；

所述第二目标公式包括：

其中，所述、所述至所述分别对应所述n个输入图像的权重参数，所述N是每个所述输入图像中像素的总数，所述是所述像素在所述输入图像中的序号，所述为指示函数，所述、至为n-1个深度阈值，对应所述n个深度范围，所述为所述稠密深度真值图，所述为所述子模型对应的深度预测图与所述稠密深度真值图之间的损失。

5.根据权利要求1至4任一所述的方法，其特征在于，所述获取指定场景的稀疏深度图，包括：

获取激光雷达采集的所述指定场景的雷达点云；

将所述雷达点云投射至二维图像平面得到所述稀疏深度图。