[发明专利]动作学习方法、装置、存储介质及电子设备

说明书

本公开涉及一种动作学习方法、装置、存储介质及电子设备，包括：获取目标对象的人体动作图像数据；确定与人体动作图像数据对应的机器人的关节运动数据；通过机器人的数字孪生模型的仿真数据判断关节运动数据是否符合与机器人对应的原子动作约束条件；在判定关节运动数据符合与机器人对应的原子动作约束条件的情况下，将关节运动数据确定为机器人的原子动作。通过上述技术方案，能够将一组人体动作转换为多个不同机器人的原子动作，并且对人体动作的学习均基于数字化的、虚拟的机器人数字孪生模型完成，不需要实体机器人，可大幅降低生成机器人动作的成本。

技术领域

本公开涉及机器人领域，具体地，涉及一种动作学习方法、装置、存储介质及电子设备。

背景技术

机器人每个动作都是的多个关节组合运动的过程。机器人学习人类动作的方法通常都是先通过人体可穿戴设备来先捕捉人体运动姿态。然后根据人体运动姿态控制实体机器人进行动作的学习。实体机器人动作学习的成本较高，并且相同动作在不同机器人身上需要反复学习。并且动作捕捉常见的方式是在运动物体的关键部位设置跟踪器，例如惯性测量单元(IMU)。惯性动捕各个传感器处的三维位置和方向信息可实时地记录并显示(存在少许延迟)，小范围使用费用相对合理。但缺陷也是很明显的，其每次使用需要消磁，且其往往受限于磁场的范围和精度，空间定位不准，且出于设备原因，动作局限也比较多然。而且一个人就是一套装备，多人的话成本成倍增加。

发明内容

本公开的目的是提供一种动作学习方法、装置、存储介质及电子设备，能够将一组人体动作转换为多个不同机器人的原子动作，并且对人体动作的学习均基于数字化的、虚拟的机器人数字孪生体模型完成，不需要实体机器人，可大幅降低生成机器人动作的成本。

为了实现上述目的，本公开提供一种动作学习方法，所述方法包括：

获取目标对象的人体动作图像数据；

确定与所述人体动作图像数据对应的机器人的关节运动数据；

通过所述机器人的数字孪生模型的仿真数据判断所述关节运动数据是否符合与所述机器人对应的原子动作约束条件；

在判定所述关节运动数据符合与所述机器人对应的所述原子动作约束条件的情况下，将所述关节运动数据确定为所述机器人的原子动作。

可选地，所述确定与所述人体动作图像数据对应的机器人的关节运动数据包括：

对所述人体动作图像数据进行去噪处理；

根据所述去噪处理后的所述人体动作图像数据确定对应的三维姿态运动数据，所述三维姿态运动数据中包括与所述目标对象对应的各三维关键点的运动数据，所述三维关键点用于构建所述目标对象的三维姿态；

根据所述三维姿态运动数据映射得到所述机器人的所述关节运动数据。

可选地，所述通过所述机器人的数字孪生模型的仿真数据判断所述关节运动数据是否符合与所述机器人对应的原子动作约束条件包括：

基于所述数字孪生模型的仿真数据判断所述关节运动数据是否满足运动合规条件，所述运动合规条件包括所述关节运动数据对应的动作为所述原子动作、所述关节运动数据中不存在关节运动超过所述关节的物理限位、所述数字孪生模型在执行所述关节运动数据时未出现碰撞和失衡现象；

在所述关节运动数据不满足所述运动合规条件中的任一条时，判定所述关节运动数据不符合与所述机器人对应的原子动作约束条件。

可选地，所述通过所述机器人的数字孪生模型的仿真数据判断所述关节运动数据是否符合与所述机器人对应的原子动作约束条件还包括：

在所述关节运动数据满足所有所述运动合规条件时，基于所述数字孪生模型的仿真数据判断所述关节运动数据是否满足运动优化条件，所述运动优化条件包括所述关节运动数据符合机器人运动学规律和所述关节运动数据对应的动作流畅平滑；