[发明专利]一体化融合多传感器自动驾驶智能感知装置

权利要求书

1.一种一体化融合多传感器自动驾驶智能感知装置，包括：通过可扩展北斗短报文应急通信和北斗高精度定位接口，连接在自动驾驶汽车上的车载激光雷达、毫米波雷达、双目摄像头和与红外相机相融合在一起的传感器数据采集模块、传感器数据同步模块、车载计算单元、传感器数据处理模块，规划控制模块、传感器融合执行控制模块和电源模块，其特征在于：车载激光雷达、毫米波雷达、双目摄像头和与红外相机相融合，利用人工智能技术模拟人对外界环境的感知过程，建立传感器、定位、AI感知、路径规划和决策、控制车辆的智能感知模型模块，智能感知模型模块对车辆外进行静态和动态障碍物的实时3D目标跟踪检测，检测车辆所处的环境，获得场景内各要素信息的与行为信息，实时发送、接收车辆定位信息、状态信息和控制信息到传感器数据采集模块，采用多传感器融合方式进行智能驾驶感知经度、纬度、高度、速度、航向角、俯仰角、翻滚角、Lidar点云信息和高清视频，获取并输出车辆的状态信息，完成所有传感器的数据接收后，将传感器采集数据传输给传感器数据同步模块，感器数据同步模块对来自多个智能传感器或多源的信息和数据进行自动综合分析，实现多源异构传感器毫米级的空间同步和纳米级的时间同步，并将同步校准后的数据实时送入传感器数据处理模块后，通过车载计算平台上的车载计算单元进行数据处理，把处理好的数据送达规划控制模块，规划控制模块根据智能感知模型模块的感知结果，完成对车辆行驶路径、避障、感知的规划控制与决策，决定车辆最优的路径和决策，做出实时轨迹预测，指引车辆完成路径规划，对车辆的决策处理信息后送入工智能算法模块，确定每个样本的权值，将修改过权值的新数据集送给下层分类器进行训练，将每次训练得到的分类器最后融合起来，作为最后的决策分类器到达传感器融合控制车辆执行模块，传感器融合控制车辆执行模块根据规划控制模块的控制路径规划，在车辆决策系统控制下，连接汽车中控模块对车辆进行实时控制，执行感知数据，识别车身周围全域视野范围内的通行性、静动态物体，做出制动和规避障碍的决策。

2.如权利要求1所述的一体化融合多传感器自动驾驶智能感知装置，其特征在于：智能感知模型模块采用多传感器融合的方式，通过融合自动驾驶汽车上的毫米波雷达、激光雷达、双目摄像机与红外相机的采集数据，传感器数据同步模块将智能传感器的目标级检测信息进行时空配准，实现多源异构传感器毫米级的空间同步和纳米级的时间同步，再由计算单元提供强大计算力，保证装置的高能效与高性能。

3.如权利要求2所述的一体化融合多传感器自动驾驶智能感知装置，其特征在于：车载计算单元从前端感知到后端的多源数据处理，对车辆动作进行具体规划、检查抽象策略是否可执行或者执行满足策略的动作，将学习到的抽象策略转化成对车辆的实际控制动作，从而充分保证系统的安全性。

4.如权利要求1所述的一体化融合多传感器自动驾驶智能感知装置，其特征在于人工智能计算法模块采用人工智能AI芯片内置的人工智能算法，基于人工智能算法进行车辆决策与规划，完成初步计算率，采用强化学习来决策行驶需要的高级策略，按照这些策略和动态规划来实施具体的路径规划与避障。

5.如权利要求1所述的一体化融合多传感器自动驾驶智能感知装置，其特征在于：人工智能计算法模块采用深度学习来做激光雷达的三维点云目标检测，三维点云目标检测整个场景的点云，采用包含特征提取阶段、主干网络和RPN结构三个部分检查抽象策略是否可执行或者执行满足策略的动作。

6.如权利要求1所述的一体化融合多传感器自动驾驶智能感知装置，其特征在于：特征提取阶段采用特征提取模块将整个场景的点云划分到大小相同的三维网格中，输入包含每个点坐标值及反射强度信息的点云数据；为了固定每个三维网格中的点云数量，如果点云数量点数过少，直接用零补齐到固定数量；如果点云数量点数过多，直接随机选择固定数量的点云，再对每个网格计算其重心，得到网格中每个点云和重心的偏移量将其拼接到特征上，然后使用多个PointNet网络来提取三维网格中点云的高维度特征；采用基于分类任务的CNN模型作为特征提取器，输入长宽高D×W×H的形式卷积特征图片，经过预训练CNN模型的处理，得到卷积特征图(卷积层conv feature map)，卷积层的输出拉伸为一维的向量。