[发明专利]针对深度和视差估计的语义分割的稳健用途

权利要求书

1.一种非暂态程序存储设备，所述非暂态程序存储设备包括被存储在其上的指令，所述指令使得一个或多个处理器：

获得场景的第一图像，所述第一图像包括多个第一像素，所述像素具有色值；

获得包括多个第一值的第一深度或视差信息，其中每个值对应于所述场景中的位置；

获得包括多个第一分割值的至少一个语义分割掩模，其中每个分割值对应于所述场景中的位置；

针对所述至少一个语义分割掩模中的至少一个获得至少一个正则化项；以及

执行优化操作以生成第一深度或视差映射，

其中所述优化操作联合最小化基于所述多个第一像素中的所述色值、所述第一深度或视差信息、所述至少一个语义分割掩模和所述至少一个正则化项的公式。

2.根据权利要求1所述的非暂态程序存储设备，其中所述指令还使得所述一个或多个处理器：至少部分地基于所述生成的第一深度或视差映射来生成所述第一图像的模糊版本。

3.根据权利要求1所述的非暂态程序存储设备，其中所述指令还使得所述一个或多个处理器：获得针对所述至少一个所获得的语义分割掩模中的一个的置信掩模，其中所述优化操作还至少部分地基于所述获得的置信掩模。

4.根据权利要求1所述的非暂态程序存储设备，其中所述指令还使得所述一个或多个处理器：获得针对所述至少一个语义分割掩模中的至少一个的最大影响值，其中所述优化操作还至少部分地基于所述获得的最大影响值。

5.根据权利要求1所述的非暂态程序存储设备，其中所述至少一个语义分割掩模包括至少两个语义分割掩模，其中所述指令还使得所述一个或多个处理器针对所述至少两个语义分割掩模中的每个获得至少一个正则化项，并且其中所述优化操作还至少部分地基于针对所述至少两个语义分割掩模中的每个的所述获得的正则化项。

6.根据权利要求1所述的非暂态程序存储设备，其中所述多个第一值中的至少一个值对应于用于捕获所述第一图像的图像捕获设备的聚焦像素的位置。

7.根据权利要求1所述的非暂态程序存储设备，其中所述至少一个正则化项中的至少一个强制执行平滑约束。

8.一种电子设备，包括：

存储器；

一个或多个图像捕获设备；

显示器；

用户界面；以及

一个或多个处理器，所述一个或多个处理器可操作地耦接到所述存储器，其中所述一个或多个处理器被配置为执行使得所述一个或多个处理器执行以下操作的指令：

从所述一个或多个图像捕获设备获得场景的第一图像，所述第一图像包括多个第一像素，所述像素具有色值；

获得包括多个第一值的第一深度或视差信息，其中每个值对应于所述场景中的位置；

获得包括多个第一分割值的至少一个语义分割掩模，其中每个分割值对应于所述场景中的位置；

针对所述至少一个语义分割掩模中的至少一个获得至少一个正则化项；以及

执行优化操作以生成第一深度或视差映射，

其中所述优化操作联合最小化基于所述多个第一像素中的所述色值、所述第一深度或视差信息、所述至少一个语义分割掩模和所述至少一个正则化项的公式。

9.根据权利要求8所述的电子设备，其中所述指令还使得所述一个或多个处理器：至少部分地基于所述生成的第一深度或视差映射来生成所述第一图像的模糊版本。

10.根据权利要求8所述的电子设备，其中所述指令还使得所述一个或多个处理器：获得针对所述至少一个所获得的语义分割掩模中的一个的置信掩模，其中所述优化操作还至少部分地基于所述获得的置信掩模。

11.根据权利要求8所述的电子设备，其中所述指令还使得所述一个或多个处理器：获得针对所述至少一个语义分割掩模中的至少一个的最大影响值，其中所述优化操作还至少部分地基于所述获得的最大影响值。