[发明专利]成像系统和方法

说明书

一种系统和方法可以包括通过彩色偏振成像相机捕获场景的多通道偏振图像和多通道RGB图像。可以从多通道RGB图像合成多通道高光谱图像，并将其与多通道偏振图像拼接以创建合并的偏振高光谱图像。合并的偏振高光谱图像中的场景特性可以被分离。

技术领域

本发明涉及环境感知和自动车辆控制。

背景技术

众所周知，成像系统可以监控车辆周围的区域，以提高环境感知能力。这种系统可提供场景重建，包括目标和净路径确定，为操作员警报提供此类确定，并用作控制输入。这种系统可用于从完全操作员控制到完全自主控制的车辆控制。车辆可包括各种高级驾驶员辅助系统(ADAS)，其可响应于来自此类成像系统的输入来控制车辆导航动力学的一些或所有方面。

成像系统可提供场景识别和目标分类。场景深度信息可以由飞行时间测量提供，例如由无线电探测和测距(RaDAR)和光探测和测距(LiDAR)系统提供。然而，与成像系统相比，RaDAR和LiDAR系统的空间分辨率可能有限。因此，在空间信息不匹配的情况下，将来自这两种系统的信息结合起来是一项挑战。已知彩色偏振成像设备，其以等效成像系统空间分辨率提供组合的颜色和偏振信息。彩色偏振成像可以提高场景识别、目标分类和深度的综合能力。然而，这种成像设备提供的场景特性信息实质上是复杂的，因此难以提取。

发明内容

在一个示例性实施例中，装置可以是提供场景的多通道偏振图像的彩色偏振成像相机。彩色偏振成像相机还可以提供场景的多通道RGB图像。处理器可以适于从彩色偏振成像相机接收多通道偏振图像和多通道RGB图像，并且可以配置成从多通道RGB图像合成多通道高光谱图像，将多通道偏振图像和多通道高光谱图像拼接以创建合并的偏振高光谱图像，并分离合并的偏振高光谱图像中的场景特性。

除了本文描述的一个或多个特征之外，分离合并的偏振高光谱图像内的场景特性可以包括从合并的偏振高光谱图像中提取单独场景特性。

除了本文描述的一个或多个特征外，分离合并的偏振高光谱图像内的场景特性可包括在训练的神经网络的输入层接收合并的偏振高光谱图像，并通过训练的神经网络从合并的偏振高光谱图像中提取单独场景的特征。

除了本文描述的一个或多个特征外，分离合并的偏振高光谱图像内的场景特性可包括在训练的神经网络的输入层接收合并的偏振高光谱图像，以及通过训练的神经网络生成深度映射空间图像。

除了本文描述的一个或多个特征外，单独场景特性可以包括照明、材料和表面取向。

除了本文描述的一个或多个特征之外，从多通道RGB图像合成多通道高光谱图像可以包括超完备字典技术的稀疏应用。

除了本文描述的一个或多个特征之外，多通道偏振图像、多通道RGB图像和多通道高光谱图像可以包括空间标识。

在另一个示例性实施例中，一种方法可以包括通过彩色偏振成像相机捕获场景的多通道偏振图像和多通道RGB图像，通过处理器从多通道RGB图像合成多通道高光谱图像，通过处理器将多通道偏振图像和多通道高光谱图像拼接以创建合并的偏振高光谱图像，以及分离合并的偏振高光谱图像内的场景特性。

除了本文描述的一个或多个特征之外，分离合并的偏振高光谱图像内的场景特性可以包括从合并的偏振高光谱图像中提取单独场景特性。

除了本文描述的一个或多个特征外，分离合并的偏振高光谱图像内的场景特性可包括在训练的神经网络的输入层接收合并的偏振高光谱图像，并通过训练的神经网络从合并的偏振高光谱图像中提取单独场景特性。

除了本文描述的一个或多个特征外，分离合并的偏振高光谱图像内的场景特性可包括在训练的神经网络的输入层接收合并的偏振高光谱图像，以及通过训练的神经网络生成深度映射空间图像。

除了本文描述的一个或多个特征外，单独场景特性还可以包括照明、材料和表面取向。