[发明专利]一种基于虚幻引擎和移动机器人的虚实结合数字孪生系统

说明书

本发明公开一种基于虚幻引擎和移动机器人的虚实结合数字孪生系统，涉及移动机器人领域。该系统中物理测试台包括全向轮机器人、摄像机阵列及基于AprilTag的定位系统；全向轮机器人包括多个全向轮的机器人底盘以及不同处理器的控制器；虚拟测试台根据物理测试台，基于虚幻引擎5以及PhysX物理引擎进行搭建；虚实交互框架包括基于MySQL数据库的通讯框架和启发式参数搜索算法；基于MySQL数据库的通讯框架作为虚拟测试台与物理测试台的数据的存储器和中转站；启发式参数搜索算法对虚拟测试台的部分物理参数进行搜索。本发明在面对同类型的控制任务时都能够提高控制效果和减小虚实误差。

技术领域

本发明涉及移动机器人领域，特别是涉及一种基于虚幻引擎和移动机器人的虚实结合数字孪生系统。

背景技术

移动机器人的研究在近年来越来越受到关注，并应用到了许多工业和军事场景中。移动机器人测试台作为验证理论结果、衡量产品质量的关键环节，其重要性不言而喻。目前的移动机器人测试台主要分为两类：物理测试台和虚拟测试台。物理测试台能够提供最精准的实验结果和强有力的数据支撑，但是由于空间、时间和资金成本的严格约束，且机器人的安全性无法保障，物理测试台难以满足研究人员的需要。虚拟测试台由于其高度可定制性以及较低的成本而被广泛应用在学术研究中，但是受到当前物理仿真技术的制约，虚拟测试台的仿真结果往往并不精确，训练得到的控制器难以迁移到实际中。为了让控制策略从虚拟到现实的迁移更加简单，通常采用sim-to-real技术来调整虚拟仿真环境以缩小虚实误差。

英伟达的Yevgen Chebotar等人针对机械臂开关柜子、摆动细绳控制其连接的刚体进洞两个具体的任务提出了一套simto real方案。首先在虚拟仿真环境中搭建与实际一致的三维模型，构建一套虚拟仿真系统。接下来构建一个参数化的马尔可夫过程，其中的仿真器参数均可调整，并各自有自己的初始分布，该分布同样使用参数进行控制。通过域随机化的方法，对参数进行随机化采样，生成大量场景。基于生成的场景进行强化学习后，获得在当前的参数分布下该任务的最优控制器。将该控制器同时用于虚拟仿真环境和实际实验环境中进行控制，收集虚拟、实际的运行状态数据，从而计算出一个描述虚实误差大小的指标(该指标可根据任务灵活设置)。根据计算出来的虚实误差、当前各个参数的分布以及当前的最优控制器，使用设计的基于强化学习的方法SimOpt更新所有参数的分布。之后不断重复上述过程直到虚实误差缩减到一定范围内。

Zhaoming Xie等人提出了一种迭代设计方法，用确定性动作随机状态(DASS)元组表示与随机策略访问的状态相关联的确定性策略行为，实现了迁移学习。在不设置动态随机化的情况下，通过在执行器的动态中引入一些噪声、进行准确的系统辨识、在虚拟和物理环境中均调用各自的状态估计器参与训练以及选择合适的状态空间和动作空间等手段成功训练出了具有高鲁棒性的控制策略，实现了在模拟中学习的策略向物理双足机器人的迁移。

但现有的方案常常从特定的任务出发，通过域随机化或其他手段，在训练阶段得到控制策略后，修改参数分布，然后再根据新的参数分布进行采样，反复重复上述迭代过程以获得一个具有较强鲁棒性的控制策略。这种方法训练出来的参数分布与环境强相关，局限性较大。如果任务变更，甚至只是环境发生变化(如实物的重量或摩擦力系数变化等)，就必须重新训练一组新的参数分布，否则相同的控制策略将无法保证较小的虚实误差。

现有技术只考虑到了虚拟测试台物理引擎的物理参数带来的影响，并没有深入到虚实误差产生的本质原因。除了模拟算法的参数以外，目前物理引擎所使用的物理模拟算法的模型精度有限，并且很多现实中存在的力的计算形式进行了简化甚至忽略。另外目前的物理模拟算法大多都具有一定的随机性。以上种种原因导致了虚拟和现实之间巨大的虚实误差。

并且，现有技术中为了找到一个合适的控制策略，学习算法要求使用一些实时性较强的模拟算法，但由于模拟算法的精度和速度往往无法两全，在当前的算力基础上通常会牺牲模拟算法的精度。故而学习算法本身通过高次数迭代训练来达到目的的特质导致其无法使用高精度的模拟算法，这带来了一些天然的劣势。

发明内容