[发明专利]一种机器人复现人体演示动作的方法和装置

说明书

本申请公开了一种机器人复现人体演示动作的方法和装置，通过对待机器人复现演示视频进行处理，生成相应的操作指令控制机器人复现待机器人复现演示视频中的人体演示动作，不需要操作人员佩戴收集人体关节信息的硬件设备，解决了现有的使用传感器来捕获人体关节的状态，需要操作人员佩戴收集人体关节信息的硬件设备的技术问题。

技术领域

本申请涉及机器人技术领域，尤其涉及一种机器人复现人体演示动作的方法和装置。

背景技术

机器人是自动执行工作的机器装置，它既可以接收人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动，可协助或取代人类工作，为人们的生活带来许多便利。

基于人体关节姿势的方法是一种使机器人根据人体动作进行人体动作复现演示的方法，使用传感器来捕获人体关节的状态，从而使机器人模仿人体的关节姿势，这种方法需要操作人员佩戴收集人体关节信息的硬件设备，根据机器人收集的关节信息模仿人体运动，操作较为限制。

发明内容

本申请提供了一种机器人复现人体演示动作的方法和装置，用于解决现有的使用传感器来捕获人体关节的状态，需要操作人员佩戴收集人体关节信息的硬件设备的技术问题。

有鉴于此，本申请第一方面提供了一种机器人复现人体演示动作的方法，包括：

从待机器人复现演示视频中获取连续帧的多张图像；

对所述多张图像进行人体动作检测，输出人体动作类别；

对每张图像进行图像抓取检测，得到左手和右手的手部抓取类型和手部边界框；

生成所述手部边界框的操作物体感兴趣区域，提取所述操作物体感兴趣区域中候选物体区域的物体特征，所述物体特征包括物体类别概率、候选物体区域边界框的宽和高、候选物体区域在原始图像中的位置；

根据所述物体特征识别出所述候选物体区域的操作主体和操作受体；

输出所有图像中出现次数最多的左手手部抓取类型、右手手部抓取类型、所述操作主体和所述操作受体；

生成包括所述左手手部抓取类型、所述右手手部抓取类型、所述操作主体、所述操作受体和所述人体动作类别的机器人操作指令；

将所述机器人操作指令发送给机器人，使得机器人根据所述机器人操作指令复现待机器人复现演示视频中的人体演示动作。

优选地，所述生成所述手部边界框的操作物体感兴趣区域，提取所述操作物体感兴趣区域中候选物体区域的物体特征，包括：

根据所述手部边界框和预置的生成感兴趣区规则，生成操作物体感兴趣区域；

对所述操作物体感兴趣区域提取候选物体区域的物体特征。

优选地，所述根据所述物体特征识别出所述候选物体区域的操作主体和操作受体，具体包括：

对所述物体特征进行聚类分析，得到操作主体聚类中心和操作受体聚类中心；

将所述操作主体聚类中心和所述操作受体聚类中心输入物体分类器，识别出所述候选区域的操作主体和操作受体。

优选地，所述聚类分析为K均值聚类分析，且K的取值为2。

优选地，所述对所述多张图像进行人体动作检测，输出人体动作类别，包括：

对所述多张图像提取彩色图像序列和光流图像序列；

将所述彩色图像序列和所述光流图像序列分别输入到预置三维卷积神经网络中提取人体动作特征；

将提取到的所有所述人体动作特征合并成一个一维动作特征向量；