[发明专利]将图像拼接到虚拟图像中的方法和系统

说明书

提供了一种辅助操作者操作车辆的系统和方法。在一个实施例中，系统包括传感器系统，该传感器系统被配置成生成从车辆环境感测到的传感器数据。所述系统还包括控制模块，所述控制模块配置成通过处理器基于所述传感器数据确定环境的场景，存储场景中至少一个特征的形状，基于存储的形状修改视频数据，以及将修改的视频数据呈现给操作者以供显示。

技术领域

该技术领域通常涉及车辆的操作者辅助系统，更具体地说，涉及用于提供车辆环境下的虚拟图像的方法和系统。

背景技术

车辆可结合并使用多种辅助设备来协助操作者。例如，各种传感器可布置在车辆的各种位置处。各种传感器感测车辆环境的可观察条件。例如，多个摄像头或其他传感器可感测车辆正在行驶或即将行驶的道路或环境的状况。在一些实例中，期望向操作者呈现图像的引擎盖下视图或虚拟视图。在这种情况下，必须将各种摄像头提供的图像拼接在一起以创建虚拟视图。

因此，期望提供用于将多个图像改进地拼接成单个虚拟图像的方法和系统。结合附图和前述技术领域和背景，从随后的详细描述和所附权利要求书，本文描述的实施例的其它期望特征和特性将变得显而易见。

发明内容

在一个示例性实施例中，提供了一种用于辅助操作者操作车辆的系统和方法。在一个实施例中，系统包括传感器系统，该传感器系统配置成生成从车辆环境感测到的传感器数据。所述系统还包括控制模块，所述控制模块配置成通过处理器基于传感器数据确定环境的场景，存储场景中至少一个特征的形状，基于存储的形状修改视频数据，并将修改的视频数据呈现给操作者以供显示。

在各种实施例中，传感器系统包括一个或多个摄像头。

在各种实施例中，至少一个特征包括地面上的印刷标记。

在各种实施例中，控制模块还配置为，通过处理器拼接传感器数据以形成环境的场景，并识别拼接的传感器数据的特征中的错误，其中基于识别的错误修改视频数据。在各种实施例中，控制模块进一步配置为使具有错误的特征与存储的形状相匹配。

在各种实施例中，控制模块配置成，通过处理器，通过基于存储的形状扭曲拼接的场景数据的一个或多个部分的地平面来修改视频数据。

在各种实施例中，控制模块配置为，通过平滑扭曲的地平面中的线来修改视频数据。在各种实施例中，控制模块进一步配置为，通过锐化扭曲的地平面中的平滑线的边缘来修改视频数据。在各种实施例中，控制模块还配置成拼接传感器数据和存储的形状以修改视频数据。

在各种实施例中，控制模块配置为基于车速数据、转向角数据和真实几何数据中的至少一个来计算置信度得分，并通过基于存储的形状和置信度得分拼接视频数据来修改视频数据。

在另一实施例中，一种方法包括：从感测车辆的环境的传感器系统接收传感器数据；通过处理器基于传感器数据确定环境的场景；通过处理器基于传感器数据确定环境中的特征的形状；通过处理器基于环境中的特征的形状来修改视频数据；以及生成显示数据以显示修改的视频数据，供车辆的操作者观看。

在各种实施例中，传感器系统包括一个或多个摄像头。

在各种实施例中，所述至少一个特征包括地平面上的标记。

在各种实施例中，该方法还包括拼接传感器数据以形成环境的场景，并识别拼接的传感器数据的特征中的错误，其中基于识别的错误修改视频数据。在各种实施例中，该方法还包括将具有错误的特征与存储的形状匹配。

在各种实施例中，该方法还包括通过基于存储的形状扭曲拼接的场景数据的一个或多个部分的地平面来修改视频数据。在各种实施例中，该方法还包括通过平滑扭曲的地平面中的线来修改视频数据。在各种实施例中，该方法还包括通过锐化扭曲的地平面中的平滑线的边缘来修改视频数据。在各种实施例中，该方法还包括拼接传感器数据和存储的形状以修改视频数据。