[发明专利]实时场景理解系统

权利要求书

1.一种实时场景理解系统，包括：

对象检测模块，包括用于对图像中的对象进行定位和分类的算法；

语义分割模块，包括用于对所述图像中的各个像素进行分类的算法；

编码器模块，在输入图像上操作以提取输入图像中的显著特征；

至少一个注意模块，赋予每个显著特征一个相对贡献值，或重加权，以使这些特征包含全局上下文以及空间局部信息；以及

解码器模块，用于使用所述显著特征来重建输出图像，其中所重建的输出图像和/或关于所述显著特征的信息对所述对象检测模块和所述语义分割模块可用，

其中，每个所述显著特征的相对贡献值或权重由所述至少一个注意模块提供给所述解码器模块、所述对象检测模块以及所述语义分割模块。

2.根据权利要求1所述的实时场景理解系统，其中，所述系统包括多个注意模块，以促进在由图像描绘的场景的多视图中将全局上下文注入到所述空间局部信息中。

3.根据权利要求1所述的实时场景理解系统，其中，所述至少一个注意模块被布置为应用不同级别的场景信息抽象的重加权，以支持对包含具有不同空间维度的对象的复杂环境的检测。

4.根据权利要求1所述的实时场景理解系统，其中，所述至少一个注意模块跨越深度维度给所述输入图像中的每个所述显著特征赋予相对贡献值。

5.根据权利要求1所述的实时场景理解系统，其中，所述编码器模块包括至少一个卷积神经网络(CNN)，以检测、分割和提取所述输入图像中的对象和像素的显著特征。

6.根据权利要求1所述的实时场景理解系统，其中，所述对象检测模块和语义分割模块能同时在来自解码器的同一输出图像上和/或由所述至少一个注意模块提供的所述同一显著特征上操作。

7.根据权利要求1所述的实时场景理解系统，其中，所述编码器模块包括以不同的速度和精度运行的不同的卷积神经网络以使得在检测过程中所述编码器模块的性能能够根据实际情况进行调整。

8.根据权利要求1所述的实时场景理解系统，其中，所述编码器模块包括特征提取算法，以从所述输入图像中提取辨别特征。

9.根据权利要求8所述的实时场景理解系统，其中，所述编码器模块的所述特征提取算法以不同尺度和不同空间分辨率在所述输入图像中提供特征层次。