[发明专利]机器人技能学习的方法、装置、电子设备及存储介质

权利要求书

1.一种机器人技能学习的方法，其特征在于，包括：

获取多个连续等间隔时刻的环境状态；所述环境状态包含机器人状态以及任务阶段标志符；

将所述多个连续等间隔时刻的环境状态输入至训练好的机器人技能学习模型，得到所述机器人学习技能的动作描述信息序列；

根据所述动作描述信息序列确定所述机器人执行的动作序列；

其中，所述训练好的机器人技能学习模型为利用不同环境状态以及不同环境状态下所述机器人执行动作序列后得到的性能评估结果进行训练后得到；

在所述将所述多个连续等间隔时刻的环境状态输入至训练好的机器人技能学习模型，得到所述机器人学习技能的动作描述信息序列之前，还包括：

获取所述机器人技能学习的任务；

将所述任务分为N个子任务；

划分N个子任务中每个子任务的难度并生成M个子课程；M、N为正整数；

根据M个子课程中每个子课程的目标按照M个子课程的难度依次对所述机器人技能学习模型训练，得到训练好的机器人技能学习模型。

2.根据权利要求1所述的机器人技能学习的方法，其特征在于，所述划分N个子任务中每个子任务的难度并生成M个子课程，包括：

获取N个子任务中每个子任务的子任务目标；

根据所述子任务目标确定每个子任务的允许误差；

采用难度增加函数确定所述允许误差的难度序列；

根据所述难度序列对每个子任务进行难度划分，得到多个不同难度的子任务；

采用串并型策略对所述多个不同难度的子任务进行组合，得到M个子课程。

3.根据权利要求1所述的机器人技能学习的方法，其特征在于，所述根据M个子课程中每个子课程的目标按照M个子课程的难度依次对所述机器人技能学习模型训练，得到训练好的机器人技能学习模型，包括：

针对第1个子课程，执行以下步骤：

获取预设数量的训练样本集；每组训练样本包含第一环境状态、动作描述信息、第二环境状态、动作奖励；所述第一环境状态为执行所述动作描述信息对应的动作前的环境状态；所述第二环境状态为执行所述动作描述信息对应的动作后的环境状态；所述动作奖励为执行所述动作描述信息对应的动作后的奖励值；

根据所述第一环境状态、所述动作描述信息、所述第二环境状态、所述动作奖励确定所述机器人技能学习模型的损失函数；

根据所述损失函数更新所述机器人技能学习模型的参数并对所述机器人技能学习模型的性能进行评估，得到性能评估结果；

若所述性能评估结果或训练时间达到阈值，则针对第2个子课程重复上述步骤直到第M个子课程的性能评估结果或训练时间达到阈值，得到训练好的机器人技能学习模型。

4.根据权利要求3所述的机器人技能学习的方法，其特征在于，所述获取预设数量的训练样本集，包括：

获取所述第一环境状态以及所述动作描述信息；

根据执行所述动作描述信息对应的动作后的所述第二环境状态确定所述动作奖励。

5.根据权利要求4所述的机器人技能学习的方法，其特征在于，所述根据执行所述动作描述信息对应的动作后的所述第二环境状态确定所述动作奖励，包括：

获取所述第二环境状态对应的机器人状态以及任务阶段标志符；

根据所述机器人状态以及所述任务阶段标志符确定所述动作奖励。