[发明专利]机械的自动驾驶控制方法以及系统

说明书

本发明提供机械的自动驾驶控制方法以及系统。通过去除基于数学地描述的函数的拟合的过学习的影响来削减实机与仿真的误差，以此将机械的自动驾驶控制最优化。控制机械的自动驾驶的自动驾驶控制系统设定第1模型，其基于数学地描述的函数来表示输入到所述机械的控制信号串与从遵循该控制信号串而控制的所述机械输出的数据的关系。系统在包含学习机械的自动驾驶控制的学习处理中，直到满足第1条件为止使用第1模型来执行学习，在满足第1条件以后，直到意味着过学习的第2条件得以满足为止，或直到该第2条件未得到满足而结束学习为止，使用使第1模型变化1次以上后的模型即第2模型来执行学习。

技术领域

本发明总体涉及机械的自动驾驶控制。

背景技术

大型工业机械等机械的自动驾驶控制进行以下操作：使用模仿实机的仿真，来寻找最优的自动驾驶控制方法，通过实机验证仿真上实现的自动驾驶控制。作为寻找该最优控制的方法，能举出最优化计算、强化学习等。

作为大型工业机械的示例而有桥式起重机，在专利文献1中举出桥式起重机的自动驾驶控制的示例。根据专利文献1，进行以下操作：对某特定的搬运使用物理模型的搬运仿真，生成自动驾驶控制步骤，使得运送物不会摇晃。

但由于实机与仿真间的误差，实机会进行与仿真不同的行动，难以得到希望的结果。因此，实机中的调整变得不可欠缺，但由于频繁使用大型工业机械的实机来进行实验则负担较大，因此较为困难。

为了避免该问题，如专利文献2中所举出的那样，考虑生成仿真，使其接近实机。

现有技术文献

专利文献

专利文献1：JP特开2007-161393号公报

专利文献2：JP特开2004-178247号公报

在桥式起重机中，考虑根据某标准的控制信号串的真实数据来生成专利文献2那样的精致的仿真，但为了对实机与仿真之间进行填补，进行基于数学地描述的函数的拟合(合わせ込み)。已知的是，在该拟合中，由于实机的数据不足、没有重现性，会进行过学习。

在仿真进行了过学习的情况下，仿真强烈依赖于生成拟合仿真时的控制信号串、运送距离、运送物的重量、进行实机验证的环境等参数。因此，在控制信号串、运送距离、环境这样的参数发生变化时，仿真的结果较大变动，存在仿真与实机间的误差变大的问题。因此，出现了以下问题：在进行了拟合的控制的环境以外，实现不了自动驾驶控制。

另外，在自动驾驶控制的控制信号串的搜索中使用强化学习的情况下，在进行了过学习的仿真中，存在强化学习中得到的报酬较大变动，学习推进不了的问题。因此，在实现基于强化学习的自动驾驶控制时，需要防止在生成控制信号串时所用的仿真中包含过学习的影响。

基于数学地描述的函数的拟合的过学习的影响对于在自动驾驶控制的控制信号串的搜索中使用强化学习以外的学习的情况也会成为问题。

发明内容

因此，在本发明中，目的在于，通过去除基于数学地描述的函数的拟合的过学习的影响来削减实机与仿真的误差，由此将机械的自动驾驶控制最优化。

用于解决课题的手段

对机械的自动驾驶进行控制的自动驾驶控制系统设定第1模型，该第1模型基于数学地描述的函数来表示输入到所述机械的控制信号串与从遵循该控制信号串而控制的所述机械输出的数据的关系。系统在包含学习机械的自动驾驶控制的学习处理中，直到满足第1条件为止使用第1模型来执行学习，在满足第1条件以后，直到意味着过学习的第2条件得以满足为止，或直到该第2条件未得到满足而结束学习为止，使用使第1模型变化1次以上后的模型即第2模型来执行学习。

发明的效果