[发明专利]一种基于相机暗箱的数字孪生自动驾驶测试方法

权利要求书

1.一种基于相机暗箱的数字孪生自动驾驶测试方法，利用基于相机暗箱的数字孪生自动驾驶测试系统进行测试，其特征在于：所述的基于相机暗箱的数字孪生自动驾驶测试系统包括相机暗箱模块、驾驶模拟器、操驾体感模拟器和工作站，所述的工作站中安装虚拟仿真模块和自动控制算法模块；所述的操驾体感模拟器安装于驾驶模拟器中座椅的底部；

所述的相机暗箱模块的输入端与虚拟仿真模块连接、两个输出端通过工作站分别与5G通讯基站和自动控制算法模块连接；所述的虚拟仿真模块与5G通讯基站双向连接，同时向驾驶模拟器和操驾体感模拟器输出信号；所述的自动控制算法模块在虚实交互测试中集成到实际自动驾驶控制器中，并接收来自驾驶模拟器和操驾体感模拟器的信号；所述的驾驶模拟器和操驾体感模拟器连接，驾驶模拟器通过工作站向5G通讯基站输出信号；所述的实际自动驾驶器向实际测试场地的实际自动驾驶测试车辆输出信号、并接收5G通讯基站的信号；所述的实际自动驾驶测试车辆向5G通讯基站输出信号；

所述的相机暗箱模块包括相机、箱体、显示屏和三轴相机校准支架；相机安装于三轴相机校准支架之上，用于校准相机位置，并与显示屏一同放入箱体之中；所述的显示屏实时显示虚拟仿真模块的仿真视频流，相机采集显示屏显示的内容，并对采集视频数据进行数据处理、目标识别和学习训练；

所述的驾驶模拟器包括用于显示驾驶环境的操驾显示屏、座椅、方向盘、离合踏板、刹车踏板、油门踏板和挡位控制器；操驾显示屏和工作站连接，实时显示仿真视频，给驾驶员提供驾驶场景信息；驾驶员操纵方向盘、离合踏板、刹车踏板、油门踏板和挡位控制器产生驾驶信息，并通过工作站传输给自动控制算法模块；

所述的操驾体感模拟器安装于驾驶模拟器座椅的底部，用于模拟虚拟仿真模块中虚拟自动驾驶车辆的运动，产生实车驾驶体感，以获得后续驾驶员乘驾舒适度的评价；

所述的工作站接收来自驾驶模拟器的控制信号，传递给自动控制算法模块，并将虚拟仿真模块中的虚拟自动驾驶车辆的运动传递给操驾体感模拟器；在进行数字孪生虚实交互测试时，工作站接收5G通讯基站传来的实际自动驾驶测试车辆的位置和姿态信息并传递给虚拟仿真模块中的虚拟自动驾驶车辆；同时，工作站将虚拟传感器和相机暗箱模块进行数据融合后的感知信息通过5G通讯基站传递给实际自动驾驶控制器；

所述的虚拟仿真模块包括静态场景、动态场景、虚拟传感器、验证过车辆动力学系统的虚拟自动驾驶车辆；所述的静态场景包括道路、交通标志、路灯、车站、隧道以及周围建筑，所述的动态场景包括交通参与者、动态指示设施、气象变化以及时间变化，所述的虚拟传感器包括激光雷达以及毫米波雷达；

所述的自动控制算法模块用于建立待测的自动控制算法，在前期基于数字孪生技术的自动驾驶仿真测试过程中，自动控制算法安装于工作站之中并与虚拟仿真模块相连接，以控制虚拟自动驾驶车辆；在后期的数字孪生虚实交互测试中，将优化后的自动控制算法集成到实际自动驾驶测试车辆中的实际自动驾驶控制器；

所述的实际自动驾驶测试车辆包括GPS高精度定位系统、IMU惯导设备、5G无线通讯子模块以及自动驾驶控制器子模块，用于采集自动驾驶测试车辆的位置信息以及姿态信息，并通过5G通讯基站将其传递到虚拟仿真模块中的虚拟自动驾驶车辆中；

所述的5G通讯基站，通过工作站完成实际自动驾驶测试车辆、相机暗箱模块与虚拟仿真模块中的虚拟传感器、虚拟自动驾驶车辆之间的实时数据交互；

所述的基于相机暗箱的数字孪生自动驾驶测试方法，包括以下步骤：

A.建立虚拟仿真模块

利用高精度地图以及三维重建技术根据实际测试场地1：1搭建虚拟仿真场景，具体步骤如下：

A1.搭建静态场景

静态场景包括道路、交通标志、路灯、车站、隧道以及周围建筑这些静态场景元素；

A2.搭建动态场景

利用软件在静态场景中随机生成交通参与者和动态指示设施，并模拟气象变化以及时间变化的动态元素，同时根据不同测试需求给虚拟自动驾驶车辆添加不同的虚拟传感器；要求生成或模拟的动态元素以及虚拟传感器严格遵循现实世界的物理规律以及行为逻辑；所述的气象变化包括雨、霜、雪、雾天气状况，所述的时间变化为不同时刻光照的变化；

A3.建模及验证整车车辆动力学

根据实际自动驾驶测试车辆，建立虚拟自动驾驶车辆，并完成车辆动力学模型的验证；

所述的车辆动力学模型验证，即根据待测自动驾驶功能以及车辆运行范围、运行条件、运行模式设定验证场景或工况，通过将仿真数据与实车试验数据进行比对，以判断车辆动力学模型的质量；车辆动力学模型的验证包括车辆的动力性、制动性、经济型以及操纵稳定性的车辆整车级性能验证；

所述的运行范围包括速度、道路长度和车道数量范围，所述的运行条件包括环境温度、地面附着条件和光照等，所述的运行模式包括车辆初始速度、车辆与障碍物之间的相对位置；

B.适配数字孪生技术的控制算法硬件在环仿真测试

将待测的自动控制算法集成到工作站中的自动控制算法模块，在虚拟仿真模块中对待测的自动控制算法进行测试；

在虚拟仿真模块中随机生成不同交通参与者及其与虚拟自动驾驶车辆的交互行为，以衍生出大量的测试场景；

将相机的内外参数进行标定，使相机水平视场角包含显示屏的整个屏幕，以采集仿真视频数据，并对采集到的数据进行处理、识别和学习训练；同时，将相机采集并处理过的数据和虚拟仿真模块中的虚拟传感器数据进行数据融合，并将融合后的数据传递给自动控制算法模块；

将所述的驾驶模拟器和操驾体感模拟器和工作站相连接，将驾驶模拟器控制信号传递给工作站中的自动控制算法模块以调试和优化自动控制算法和人机共驾权重因子，以测试和优化虚拟自动驾驶车辆的人机共驾性能和乘员舒适性；

虚拟自动驾驶车辆快速遍历各种危险工况、典型工况以及自然驾驶场景，寻找自动驾驶控制算法的漏洞，迅速累积大量的测试里程，缩减未知场景以及已知不安全的场景，加快前期的研发周期，并总结筛选出虚拟自动驾驶车辆未能达到预期测试结果的场景和工况，以供数字孪生虚实交互测试做参考；

C.基于数字孪生技术的虚实交互测试

将虚拟仿真模块、相机暗箱模块、驾驶模拟器、操驾体感模拟器、实际自动驾驶测试车辆以及实际自动驾驶控制器相结合，利用虚拟仿真模块中动态场景随机生成的优势，在相对安全的情况下重复再现一些极限工况；将步骤B优化后的自动控制算法模块集成到实际自动驾驶控制器；相机暗箱模块实时采集显示屏上的仿真场景，并融合虚拟传感器数据，将融合后的场景信息即动态场景和静态场景、驾驶模拟器控制信号与实际自动驾驶测试车辆的位置信息通过5G通讯基站进行实时的交互，以达到真实场景、虚拟场景和硬件在环之间的交互映射；高效安全且尽量真实的对实际自动驾驶测试车辆以及实际自动驾驶控制器进行虚实交互测试，为最后的路试提供最强保障；

虚拟仿真模块首先通过5G通讯基站实时接收实际自动驾驶测试车辆的位置以及姿态信息，对虚拟自动驾驶车辆进行控制，使其运动状态与实际自动驾驶测试车辆保持一致；

相机暗箱模块将采集到仿真视频进行数据处理、目标识别和学习训练，在与虚拟传感器数据进行数据融合后，同驾驶模拟器的控制信号通过5G通讯基站一并传递到实际自动驾驶控制器之中，测试并优化实际自动驾驶控制器中的自动控制算法；

虚拟仿真模块将相机暗箱模块和虚拟传感器感知到的虚拟仿真模块中的场景信息以及驾驶模拟器的控制信息通过5G通讯基站传递给实际自动驾驶控制器，让实际自动驾驶测试车辆以为处于虚拟仿真模块的场景之中；实际自动驾驶控制器通过接收到的来自相机暗箱和虚拟传感器融合后的数据以及驾驶员对驾驶模拟器的控制信息来判断在当前场景下，实际自动驾驶测试车辆需要执行的操作以及人机共驾权重因子，并在实际测试场地中执行相应决策。