[发明专利]基于非结构化预测模型来预测结构化状态量的方法和装置

说明书

本发明涉及基于非结构化预测模型来预测结构化状态量的方法和装置。根据一示例性实施例，提供一种结构化状态量预测方法，其可包括：将结构化状态量表达成非结构化数据；利用非结构化预测模型，基于所述非结构化数据的已知值来预测其未来值；以及从所述非结构化数据的未来值提取所述结构化状态量的预测值。使用本发明的方法能够通过例如图像识别技术来预测结构化状态量，尤其适合在复杂场景下的预测任务。

技术领域

本发明总体上涉及辅助驾驶领域，更特别地，涉及一种基于非结构化预测模型来预测结构化状态量的方法和装置，以及相关电子设备、车辆和计算机可读介质。

背景技术

在自动驾驶或辅助驾驶(ADAS)领域，一个重要的课题是预测驾驶环境中动态实体的相关状态量在未来一段时间中的演化，从而提前进行预警或作出相应的驾驶决策。辅助驾驶系统需要对周边对象的位置、速度、加速度等时变状态量进行动态的预测，以有效地进行决策规划等功能。目前，针对动态实体的状态量预测，最主要的预测方法都是结构化的预测方法，即直接对各个状态量的数值演化进行结构化的约束以进行预测。然而，直接对状态量进行结构化预测一般需要对实体的个数、种类、相互作用方式做出具体的假设，这限制了预测方法的灵活性。例如，常见的结构化约束包括借助车辆的运动学模型(motion model)做出匀速或匀加速的假设，以在一段相对较短的时间内约束位置、速度、加速度等状态量的变换规律。在中长期的预测中，一般还要借助于其他与预测目标量相关条件变量。例如，可以借助于驾驶行为识别模型(Maneuver recognition model)区分宏观的运动模式，或者借助离散的道路结构信息来对状态量的结构化约束进行宏观的调制，再用调制后的结构化约束进行状态量的预测。

然而，上述短期或中长期的结构化状态量预测方法，一般需要对状态量的相互约束进行人工的提炼与表示，例如通过运动学模型约束速度与加速度的关系等，并且在整个预测过程中固定使用一个或一套约束形式。当例如因为场景的变换或时间的推演而实际约束与人工给出的假设有偏差时，上述预测方法的性能就会有较大的损失。

近年来，以图像为代表的非结构化数据处理得到很大的发展。以此为基础，已有工作考虑在自动驾驶中借助非结构化数据处理算法进行相关的预测任务。例如，多传感器的感知融合结果被表达为非结构化的动态占位格点图(Dynamic Occupancy Grid)，从而利用图像预测技术直接对动态占位格点图进行预测。在这些工作中，要求多传感器的感知融合结果直接表达为非结构化数据例如图像，而没有首先表达为关注对象的结构化状态量估计，因此不方便其他模块使用。而且，预测结果也是在非结构域上的，不能得到结构化状态量。

因此，如何在复杂场景下对结构化数据进行灵活预测，仍是一个需要解决的技术问题。

发明内容

本发明的一个方面在于提供一种利用非结构化预测模型来对结构化状态量进行预测的方法，其能够用于复杂场景下的结构化数据预测，从而提升了预测的灵活性和准确性。

根据一示例性实施例，一种结构化状态量预测方法可包括：将结构化状态量表达成非结构化数据；利用非结构化预测模型，基于所述非结构化数据的已知值来预测其未来值；以及从所述非结构化数据的未来值提取所述结构化状态量的预测值。

在一些示例中，所述非结构化数据包括图像，所述非结构化预测模型包括图像预测模型。

在一些示例中，所述结构化状态量被显式表达在所述图像中，所述方法还包括从所述图像中提取包括被显式表达的所述结构化状态量的区域作为关注区域，且所述图像预测模型对所述关注区域进行预测。

在一些示例中，将结构化状态量表达成非结构化数据包括将所述结构化状态量的多个已知值表达成多帧图像，其中，所述图像预测模型基于所述多帧图像来预测未来帧图像，所述未来帧图像被用于提取所述结构化状态量的预测值。

在一些示例中，所述未来帧图像包括所述结构化状态量的预测值的几率分布。