[发明专利]模拟成像系统中的虚拟车辆的自适应透明

说明书

本公开提供了“模拟成像系统中的虚拟车辆的自适应透明”。在显示面板上将车辆周围的视觉场景显示给所述车辆的乘员，作为来自所述车辆外部的可调整视角的虚拟三维图像。根据外部图像数据和叠加在所述图像数据的一部分上的虚拟车辆图像，组合对应于所述车辆外部的虚抛物面上的选定的有利点的模拟图像。检测在所述车辆周围的相应位置处的易受潜在撞击的对象。对于在所述模拟图像中具有被所述车辆图像遮蔽的对应图像数据的检测到的对象，将遮掩比率量化。当所述检测到的对象具有高于遮掩阈值的遮掩比率时，将所述车辆图像的对应边界区渲染为在所述模拟图像中至少部分地透明，以使所述对应图像数据清晰。

技术领域

本发明总体上涉及环绕机动车辆的虚拟场景的车载显示或远程监视，并且更具体地，涉及显示外部环绕视图，包括车辆本身的虚拟表示。

背景技术

环视相机系统在本领域中是已知的，用于从车辆外部的视角角度为车辆的驾驶员提供机动车辆周围的环境和对象的合成视图。为了提供真实感，将车辆本身的虚拟图像添加到合成视图。驾驶员典型地可以从在围绕车辆360°范围内的位置并且通常在处于或高于车辆高度的高度处的视角进行选择(或者可以自动地选择视角)。得到的可移动模拟图像既提供娱乐价值又提供情景感知功能，以增强安全性。

环视相机系统使用安装在车辆上的相机来收集沿着车辆的每一侧的外向图像。基于选定的视角，将来自相机图像的显示图像拼接在一起并且放置在虚拟包络上。根据如从每个可能的视角(例如，等距视角)将看到的车辆的外观来存储表示车辆的外观和几何形状的3D模型。将车辆3D模型放置在适当的位置，使得模拟图像基于环绕车辆3D模型的拼接图像包络而准确地显示车辆与环境和附近对象的关系。此后，可以将虚拟相机放置在场景内，以向车辆乘员或远程观看者(诸如远程自主车辆接管界面)提供视图。

模拟视图的潜在问题在于虚拟汽车图像是不透明的，并且可能会干扰对在虚拟汽车的另一侧的行人、对象和其他车辆的检测。此类对象将在原始相机数据中看到，但由于将虚拟汽车放置在图像上而被遮挡。因此，当这样的对象被遮蔽时，可能难以仅从模拟图像显示跟踪此类对象。

发明内容

本发明维持某些“被遮挡”对象的可见性，否则这些对象将因为虚拟汽车放置在模拟图像上而被遮挡。使用借助对相机图像的分析的公知的对象检测方法(例如，神经网络计算机视觉算法，有时被称为语义分割)和/或基于诸如雷达和超声波检测器的其他远程感测技术来检测行人、汽车以及其他潜在危险的对象。

根据对象的类型、相对运动和撞击的可能性对检测到的对象进行分类。正在移动或可能开始移动的对象可以被视为增加的危险(例如，通过检测对象的像素区质心在帧之间的显著平移和/或使用传感器融合)。可以使用附加计算机视觉算法(常规或神经网络算法)来检测突出对象的潜在撞击的特征(例如，检测打开倒车灯的附近的汽车)。对象分类本身可以指示增加的危险类别(例如，被检测为儿童而不是成人的行人)。主车辆还可以基于转向角度、占用的挡位和其他因素来预测主车辆本身的可能未来运动。此外，也可以估计对象与主车辆未来运动轨迹的相交。然后可以使用这些因素来确定何时修改所显示的视图。

对于每个感兴趣对象，确定与该对象相对应的映射到投影表面上以产生环绕视图变换的像素在虚拟汽车置于图像上之后将可见还是被遮挡。评估被遮挡对象的整体遮挡程度。例如，这可以包括识别虚拟汽车的与从选定的视角到对象的像素的射线相交的像素。这个评估可以基于像素遮掩的总计数、百分比遮掩或某一其他方法(例如，使用常规神经网络来“复制”人类感知以及对象识别来验证是否识别对象具有某一遮蔽量)。修改虚拟车辆图像的相交像素，以在被遮蔽的对象处或附近提供更改的透明。汽车的线框或柔和表示在应用透明之后仍然可见。虚拟车辆的透明区段的细节水平可以根据透明区段的大小(例如，虚拟汽车表面的相交的百分比)而更改。