[发明专利]机器人技能学习的方法、装置、电子设备及存储介质

说明书

本发明公开了机器人技能学习的方法、装置、电子设备及存储介质，包括：获取多个连续等间隔时刻的环境状态；环境状态包含机器人状态以及任务阶段标志符；将多个连续等间隔时刻的环境状态输入至训练好的机器人技能学习模型，得到机器人学习技能的动作描述信息序列；根据动作描述信息序列确定机器人执行的动作序列。本发明通过将多个连续等间隔时刻的环境状态输入至机器人技能学习模型，得到机器人学习技能的动作描述信息序列，从而实现机器人技能学习，解决了在面对多阶段复杂任务时易导致的难收敛、成功率较低的问题，提高了鲁棒性，实现了机器人复杂技能的高效、精准学习。

技术领域

本发明涉及计算机技术领域，具体涉及机器人技能学习的方法、装置、电子设备及存储介质。

背景技术

目前，各式自主智能机器人已被广泛应用在制造、海洋和国防等领域。随着机器人和人工智能技术的发展，机器人自主能力不断提高，可以在更多领域代替人类完成复杂任务。

作为应用较广的一种机器人技能学习算法，强化学习利用机器人与环境交互学习从状态到动作的映射，并在奖励函数的引导下，优化出最佳策略网络，指导机器人自主完成指定任务。相比于传统控制方法来说，目前的机器人技能学习方法在实际使用时仍存在较多问题与挑战，尤其在面临多阶段复杂任务时，容易出现学习时间过长、收敛困难、成功率较低等问题。

综上，目前亟需一种机器人技能学习的方法，用于解决上述现有技术存在的问题。

发明内容

由于现有方法存在上述问题，本发明提出机器人技能学习的方法、装置、电子设备及存储介质。

第一方面，本发明提供了一种机器人技能学习的方法，包括：

获取多个连续等间隔时刻的环境状态；所述环境状态包含机器人状态以及任务阶段标志符；

将所述多个连续等间隔时刻的环境状态输入至训练好的机器人技能学习模型，得到所述机器人学习技能的动作描述信息序列；

根据所述动作描述信息序列确定所述机器人执行的动作序列；

其中，所述训练好的机器人技能学习模型为利用不同环境状态以及不同环境状态下所述机器人执行动作序列后得到的性能评估结果进行训练后得到。

进一步地，在所述将所述多个连续等间隔时刻的环境状态输入至训练好的机器人技能学习模型，得到所述机器人学习技能的动作描述信息序列之前，还包括：

获取所述机器人技能学习的任务；

将所述任务分为N个子任务；

划分N个子任务中每个子任务的难度并生成M个子课程；M、N为正整数；

根据M个子课程中每个子课程的目标按照M个子课程的难度依次对所述机器人技能学习模型训练，得到训练好的机器人技能学习模型。

进一步地，所述划分N个子任务中每个子任务的难度并生成M个子课程，包括：

获取N个子任务中每个子任务的子任务目标；

根据所述子任务目标确定每个子任务的允许误差；

采用难度增加函数确定所述允许误差的难度序列；

根据所述难度序列对每个子任务进行难度划分，得到多个不同难度的子任务；

采用串并型策略对所述多个不同难度的子任务进行组合，得到M个子课程。

进一步地，所述根据M个子课程中每个子课程的目标按照M个子课程的难度依次对所述机器人技能学习模型训练，得到训练好的机器人技能学习模型，包括：

针对第1个子课程，执行以下步骤：