[发明专利]一种多传感器数据融合的方法、系统、设备和存储介质

说明书

本发明提供一种多传感器数据融合的方法、系统、设备和存储介质，方法包括：使用第一类型的传感器根据预设采样周期采集第一数据；在每个预设采样周期中获取当前状态的环境因子并根据所述环境因子确定延时时间，并根据所述延时时间和所述预设采样周期确定发送触发信号的时刻；响应于在所述时刻发送所述触发信号，经过所述延时时间使用第二类型的传感器采集第二数据；将所述第一数据和所述第二数据进行融合处理。本发明根据环境因子确定延时时间，并基于延时时间确定发送触发信号的时刻，从而保证多个传感器时间同步，减少了对数据有效性的判断，提高了数据融合的速度。

技术领域

本领域涉及自动驾驶领域，更具体地，特别是指一种多传感器数据融合的方法、系统、设备和存储介质。

背景技术

在自动驾驶和机器人领域，其感知域的多传感器数据融合已经成为一种趋势，这主要有两方面的原因：一方面是在感知域中所应用的传感器具有各自的优势和劣势，需要在对外界环境感知的过程中进行互补。例如：2D摄像头缺乏环境深度信息，激光雷达(3D-Lidar)缺乏环境的颜色信息，识别物体的纹理稀疏等缺陷；另一方面是感知融合算法的快速发展，推动了应用多种传感器融合对自动驾驶车辆或机器人对外接环境进行识别。知名的有关2D相机和3D-Lidar的融合算法有AVOD、MV3D、MMF、F-PointNet、ContFuse等。

多传感器的数据融合与多传感器时钟同步需求是绑定的。由于各传感器的物理实现、采样频率、数据量、通信机制等差异，未经处理的数据上传至核心计算单元后是未进行时间对齐的。对计算单元而言，它需要各传感器回传带有时间戳(timestamps)的数据，同时这些时间戳可以在同一时间基准(例如UTC时间)下对齐。

宏观地划分多传感器时钟同步方法，主要有硬件方法和软件方法。

硬件方法核心是基于触发信号，即计算单元向目标传感器发出触发信号(同时该信号也常作为回传数据的时间戳)。目前认为硬件方法是比较有效的时间同步方法，但仍然存在缺陷，一方面传感器硬件需要开发定制，开发周期和成本较高。另一方面，硬件触发传感器后，数据的回传仍有差异，例如面向不同应用场景摄像头，其曝光策略具有差异。典型的隧道口明暗差异大场景，需要摄像头的CMOS传感器采用高动态(HDR)曝光策略(多次曝光，数据叠加)，特别是经过图像处理器(ISP)处理后的数据，再回传计算单元的时间是有差异的。

软件方法主要是对多种传感器采样数据的时间偏置(offset)进行估计和优化，这些方法多假设传感器具有固定的时间偏置和传输延迟。软件数据对齐的方法如图1所示。软件对多传感器数据进行时钟方法策略是对长周期采样传感器进行数据处理时，选择时间较近的另一种传感器的数据，并通过算法判断选择数据的有效性。如图1中计算单元以激光雷达数据周期进行事件处理，同时判断摄像头数据A、B的有效性并与激光雷达数据进行融合。需要注意的是，两种传感器的采样周期是固定的，但是A、B图像与激光雷达数据的时间间隔δ_a、δ_b并不一致，而是随机的。特别是面向不同环境的自适应传感器应用，其数据回传的时间偏置也不是固定的。另外，对于自动驾驶和机器人这种实时性要求高的场景，计算单元在有限的时间片C_C(t)中需要对融合数据的有效性进行判断，再进行数据融合，并进行决策控制等工作，对计算单元的处理能力和算法效率都有较高要求。

以太网为代表的通信传输中包括几种典型的时钟同步协议，其中有NTP协议，IEEE1588协议和TICSync，这些方法都是通过双向包的传输，将传输延迟记录于数据中，这需要通信的两端节点支持该功能，例如依靠以太网数据传输的激光雷达，目前大多支持IEEE1588协议，实现时间同步。但是大多车载、机器人传感器不能够支持基于双向传输实现同步的协议，例如摄像头、毫米波雷达、惯性导航(IMU)、超声波雷达等都不能支持上述时间同步协议。单向的硬件触发仍是传感器应用的主流方案。

综上所述，目前多传感器数据融合面临如下问题：

(1)传感器的时间戳信号(触发信号)大多是单向的，即主机触发传感器→回传数据；