[发明专利]具有多相机对准的车辆相机系统

说明书

描述了用于通过使用查找表将来自每一个相机的原始图像转换成经校正的输出图像来基于来自具有重叠视场的多个相机的图像数据而创建统一输出图像的系统和方法。通过基于重叠视场中的特征点检测和匹配而生成经更新的查找表来缓解相机未对准。

背景技术

本发明涉及捕获车辆周围区域的图像并且向车辆的驾驶员显示图像数据或使用图像数据以操作另一车辆系统的车辆相机系统。

发明内容

当显示来自具有重叠视场的相机的视频或静止图像数据时，相机被对准以消除分散注意力的不连续性并且提供统一图像是合期望的。本文所描述的系统和方法中的一些提供用于车辆的多相机系统，所述多相机系统包括具有重叠视场的车辆上的至少两个相机和中央处理器。处理器从相机接收图像数据，解释图像数据，并且从初始相机放置确定相邻相机之间的相机取向未对准。一旦已经确定未对准，处理器可以对传入图像进行变换以呈现包括来自两个相机的图像数据的统一图像。

在一些实现方式中，系统配置成生成“顶视图”图像和/或视频数据以模拟由定位成从上方向下看到车辆上的相机捕获的图像。然后可以在安置在车辆内部中的显示屏上向车辆的驾驶员显示顶视图图像。顶视图图像还可以由其它自动化或半自动化车辆系统使用，所述其它自动化或半自动化车辆系统包括车道偏离警告系统、备用辅助系统和自适应巡航控制系统。

在一个实施例中，本发明提供了一种使用来自位于车辆上的至少两个相机的图像数据生成经对准的统一图像的方法。从位于车辆上的第一相机接收原始图像数据，并且使用第一查找表将原始图像数据转换成第一经校正的输出图像。第一查找表限定来自原始图像数据的至少一个像素位置，所述至少一个像素位置对应于第一经校正的输出图像的每一个像素。第一经校正的输出图像具有不同于来自第一相机的原始图像数据的视角。还从位于车辆上的第二相机接收原始图像数据，并且使用第二查找表将原始图像数据转换成第二经校正的输出图像。第二相机的视场与第一相机的视场部分重叠。通过组合第一经校正的输出图像和第二经校正的输出图像来生成第一统一输出图像。然而，在第一统一输出图像中，来自第一经校正的输出图像的图像数据相对于来自第二经校正的输出图像的图像数据未对准。在第一经校正的输出图像和第二经校正的输出图像中的每一个中检测多个特征点。将来自第一经校正的输出图像的特征点匹配到来自第二经校正的输出图像的特征点，并且基于经匹配的特征点的未对准而确定第一相机的横摆、俯仰和侧倾。基于所确定的第一相机的横摆、俯仰和侧倾，更新第一查找表。

在另一实施例中，本发明提供了一种多相机车辆成像系统，包括第一相机、第二相机、处理器和存储器。存储器存储第一查找表、第二查找表和计算机可执行指令，所述计算机可执行指令在由处理器执行时，处理来自第一和第二相机的图像数据以产生经对准的经校正图像。

从位于车辆上的第一相机接收原始图像数据，并且使用第一查找表将原始图像数据转换成第一经校正的输出图像。第一查找表限定来自原始图像数据的至少一个像素位置，所述至少一个像素位置对应于第一经校正的输出图像的每一个像素。第一经校正的输出图像具有不同于来自第一相机的原始图像数据的视角。还从第二相机接收原始图像数据，并且使用第二查找表将原始图像数据转换成第二经校正的输出图像。第二相机也位于车辆上，并且具有与第一相机的视场部分重叠的视场。

多相机成像系统通过组合第一经校正的输出图像和第二经校正的输出图像来生成第一统一输出图像。然而，在第一统一输出图像中，来自第一经校正的输出图像的图像数据相对于来自第二经校正的输出图像的图像数据未对准。在第一经校正的输出图像和第二经校正的输出图像中的每一个中检测多个特征点。将来自第一经校正的输出图像的特征点匹配到来自第二经校正的输出图像的特征点，并且基于经匹配的特征点的未对准而确定第一相机的横摆、俯仰和侧倾。基于所确定的第一相机的横摆、俯仰和侧倾而更新第一查找表，并且将第一查找表存储到存储器以用于在随后处理图像数据时使用。

通过考虑详细描述和附图，本发明的其它方面将变得明显。

附图说明

图1A是根据一个实施例的用于车辆的多相机成像系统的框图。