[发明专利]对用于基于深度学习的装置的学习的虚拟世界模拟器的物理引擎进行标定的方法及装置

说明书

本发明涉及一种方法，对用于基于深度学习的装置的学习的虚拟世界模拟器的物理引擎进行标定，包括：步骤(a)，若获取到与虚拟环境上的虚拟当前状态相对应的虚拟当前帧信息，则标定装置执行(i)向基于深度学习的装置发送虚拟当前帧信息，输出虚拟动作信息，(ii)向物理引擎发送虚拟当前帧信息和虚拟动作信息，输出与虚拟当前帧信息和虚拟动作信息相对应的虚拟下一帧信息，(iii)向真实状态网络发送虚拟当前帧信息和虚拟动作信息，输出预测的真实下一帧信息，真实状态网络经学习对真实动作信息响应而输出多个预测下一帧信息；以及步骤(b)，对上一标定参数进行标定，生成当前标定参数。

技术领域

本发明涉及用于基于深度学习(Deep Learning)的装置的学习的虚拟世界模拟器(Virtual World Simulator)，更详细地涉及，利用真实世界(Real World)中对下一状态(Next State)进行建模(modeling)的真实状态网络(Real State Network)对用于基于深度学习的装置的学习的虚拟世界模拟器的物理引擎(Physics Engine)进行标定(Calibration)的方法及装置、真实状态网络的学习方法及利用其的学习装置。

背景技术

无人驾驶汽车等基于深度学习(Deep Learning)的装置通常利用由短期规划(Short-Term Planning)输入的最近几个帧至几十个帧的信息，确定下一个动作(Action)。

作为一例，无人驾驶汽车的情况下，基于从各个帧获取的信息，即，基于所检测的对象的边框(Bounding Box)和左/右方向等元数据(Meta Data)或分割图像(SegmentationImage)，输出(i)转向角度变化量、(ii)制动踏板压力、(iii)加速踏板压力等三维真实值向量(Real-Valued Vector)的动作，无人驾驶汽车响应于上述动作来进行行驶。

这种基于深度学习的装置应经学习根据输入状态(State)确定适当的动作，对此有多种学习方法，但目前通常使用在线强化学习(On-Policy Reinforcement Learning)。

并且，基于深度学习的装置虽然可以在真实世界(Real World)学习，但难以获取多种训练数据，而且消耗很多时间，学习需要很多费用。

因此，最近提出虚拟世界(Virtual World)中学习基于深度学习的装置的方法。

然而，在虚拟世界学习的情况下，因虚拟环境与真实环境之间的差距(Gap)，发生学习结果的可靠性问题。

作为一例，基于深度学习的装置为无人驾驶汽车的情况下，虚拟世界模拟器(Virtual World Simulator)的物理引擎(Physics Engine)响应于“当前速度和周围情况的状态”而采取“以规定角度旋转转向轮并以规定压力踩住制动踏板的动作”时，输出“车辆的行驶速度、位置、周围情况等发生变化的下一状态(Next State)”，由此使得无人驾驶汽车进行学习。

然而，由虚拟世界模拟器的物理引擎生成的下一状态与真实世界的下一状态之间的误差越大，虚拟世界中学习的最优化动作(Optimal Action)在真实世界中不是最优化的动作的问题越大。

作为一例，无人驾驶汽车的情况下，虽然在虚拟世界学习了危险情况下避免事故的适当的动作，但真实世界的相同情况下即使采取了上述适当的动作但还会发生事故。

发明内容

技术问题

本发明的目的在于，解决以上提及的所有问题。

本发明的再一目的在于，使得虚拟世界模拟器(Virtual World Simulator)的物理引擎(Physics Engine)输出使虚拟世界与真实世界之间的差距(Gap)最小化的下一状态(Next State)。