[发明专利]图像生成装置、机器人训练系统、图像生成方法以及图像生成程序

说明书

本发明的图像生成装置基于输入图像来生成学习用图像，所述学习用图像用于训练对于对象物进行规定作业的机器人的动作，所述图像生成装置包括：第一图像获取部，获取第一图像，所述第一图像是拍摄包含所述机器人而不含所述对象物的现实作业空间所得；第二图像获取部，获取第二图像，所述第二图像描绘有包含与所述机器人对应的虚拟机器人、及与所述对象物对应的虚拟对象物的虚拟作业空间；以及学习器，通过机器学习而被训练成，将所述第一图像及第二图像作为输入，而输出第三图像，所述第三图像是对所述第二图像进行了转换，以使所述第二图像中所含的至少所述虚拟机器人近似于所述第一图像中所含的所述机器人。

技术领域

本发明涉及一种图像生成装置、机器人训练系统、图像生成方法以及图像生成程序。

背景技术

近年来，作为机器人的控制方法，提出了一种被称作视觉伺服系统(visual servosystem)的控制方法。例如，在握持对象物的机器人的控制中，由摄像机等视觉传感器来获取包含对象物的图像以作为输入图像，基于根据所述图像而确定的机器人与对象物的位置关系来生成控制命令，所述控制命令用于使机器人运行以握持对象物。并且，为了生成此种控制命令，而进行用于生成适合于所获取的图像的控制命令的机器学习(例如专利文献1)。

此外，为了进行如上所述的机器学习，需要教学数据，所述教学数据具有映照出各种种类的对象物或者以各种位置、方向配置的对象物与机器人的位置关系的学习用图像、及用于机器人对映照在各学习用图像上的对象物进行作为目标的握持作业的控制命令，一般而言，所述教学数据的数量越多，则能够进行精度越高的学习。因此，作为学习用图像，例如要求映照有种类不同的对象物的大量图像、或者对象物与机器人的位置关系不同的大量图像。

现有技术文献

专利文献

专利文献1：日本专利特开2017-185577号公报

发明内容

发明所要解决的问题

作为学习用图像，例如除了使用对现实作业空间拍摄的拍摄图像以外，还能够使用描绘有模拟出机器人或对象物的虚拟作业空间的虚拟图像。但是，拍摄大量配置有各种对象物的现实作业空间的图像而生成拍摄图像并不容易。另一方面，如上所述的虚拟图像能够由计算机来生成，因此虽能容易地生成大量图像，但由于是人工生成的图像，因此无法完全描绘出映照在拍摄图像上的机器人之类的实际的机器人。因此，若使用虚拟图像，则例如有时无法准确地确定机器人与对象物的位置关系，此种情况下，有可能无法输出用于作为目标的握持动作的控制命令。

本发明是为了解决所述问题而完成，其目的在于提供一种图像生成装置、机器人训练系统、图像生成方法以及图像生成程序，能够基于输入图像而容易地生成学习用图像，所述学习用图像适合于训练对于对象物进行规定作业的机器人的动作。

解决问题的技术手段

本发明的图像生成装置基于输入图像来生成学习用图像，所述学习用图像用于训练对于对象物进行规定作业的机器人的动作，所述图像生成装置包括：第一图像获取部，获取第一图像，所述第一图像是拍摄包含所述机器人而不含所述对象物的现实作业空间所得；第二图像获取部，获取第二图像，所述第二图像描绘有包含与所述机器人对应的虚拟机器人、及与所述对象物对应的虚拟对象物的虚拟作业空间；以及学习器，通过机器学习而被训练成，将所述第一图像及第二图像作为输入，而输出第三图像，所述第三图像是对所述第二图像进行了转换，以使所述第二图像中所含的至少所述虚拟机器人近似于所述第一图像中所含的所述机器人。