[发明专利]控制装置以及机器学习装置

说明书

本发明提供一种控制装置以及机器学习装置。控制装置具有的机器学习装置观测表示输送机的输送动作的状态的输送动作数据和表示输送物的状态的输送物状态数据作为表示环境的当前状态的状态变量，并且，取得表示输送物的输送速度的适当与否判定结果的输送速度判定数据和表示输送物的状态变化的适当与否判定结果的输送物状态判定数据作为判定数据。并且，使用这些状态变量和判定数据，将所述输送动作数据与所述输送物状态数据关联起来进行学习。

技术领域

本发明涉及输送机的控制装置以及机器学习装置，尤其涉及将输送机控制成能够在没有引起输送物的落下或撞击，洒落、变形、位置偏移的范围更高速地将输送物进行输送的输送机的控制装置以及机器学习装置。

背景技术

以往，使用传送带或自动输送车等输送机来输送物品。例如，在日本特开2017-065877号公报和日本特开平10-194456号公报中公开了利用传送带来输送物品的输送机。此外，在日本特开平07-061422号公报、登录实用新型第2594275号公报和日本特开2016-069050号公报中公开了对填充了液体的容器进行输送的输送机。并且，在日本特开平09-156497号公报中公开了对工厂内的货物进行输送的自动输送车。

一般情况下，若想要高速地将输送物进行输送，则在加减速时对输送物施加了较强的撞击，或在输送物是注入了液体的容器时液体洒落，或在输送物是易碎的物体时该输送物的形状崩溃，或在输送物是堆积的物体时输送物崩溃，或输送物从装载位置发生偏移。因此，在以往的输送机中，设定适当的输送速度后将输送物进行输送，以便不使输送物发生上述那样的不良。

另一方面，有时根据输送物的输送状态，适当加速/减速来对输送速度进行调整，由此可以更高速地对输送物进行输送。例如，在输送物的输送机上的装载状态或当前位置、因输送机而输送物处于上坡这样状态的情况下，有时即使向更高的速度加速输送物的状态也不会发生不良。但是，在现有技术中，由于没有这样进行考虑了输送物的状态的动态的速度调整，因此存在无法实现充分的输送速度的高效化。

发明内容

因此，本发明的目的在于提供一种将输送机控制成能够在不对输送物引起不良的范围内更高速地对输送物进行输送的控制装置以及机器学习装置。

本发明的控制装置以机器学习针对输送机输送的输送物的状态的输送机的输送动作的控制，根据机器学习的结果，将输送机的输送动作控制成在不对输送物产生不良的范围内更高速地对输送物进行输送，由此来解决上述课题。

本发明的一方式的控制装置控制将输送物进行输送的输送机，所述控制装置具有具有：机器学习装置，其学习针对输送物的状态的输送机的输送动作的控制。并且，该机器学习装置具有：状态观测部，其观测表示所述输送机的输送动作的状态的输送动作数据以及表示所述输送物的状态的输送物状态数据作为表示环境的当前状态的状态变量；判定数据取得部，其取得表示所述输送物的输送速度的适当与否判定结果的输送速度判定数据以及表示输送物的状态变化的适当与否判定结果的输送物状态判定数据作为判定数据；以及学习部，其使用所述状态变量和所述判定数据，将所述输送动作数据与所述输送物状态数据关联起来进行学习。

所述输送动作数据还可以包含所述输送物的姿势变更的状态。

所述状态观测部还观测表示所述输送机或者所述输送物的位置的输送位置数据作为状态变量。

所述状态观测部还观测表示所述输送物的性质的输送物性质数据作为状态变量。

所述学习部具有：回报计算部，其求出与所述适当与否判定结果相关的回报；以及价值函数更新部，其使用所述回报，来更新表示针对所述输送物的状态的所述输送机的输送动作的价值的函数。

所述学习部可以通过多层结构来运算所述状态变量和所述判定数据。

所述机器学习装置还具有：决策部，其根据所述学习部的学习结果，输出决定所述输送机的输送动作的控制的指令值。