[发明专利]一种机器人复现人体演示动作的方法和装置

权利要求书

1.一种机器人复现人体演示动作的方法，其特征在于，包括：

从待机器人复现演示视频中获取连续帧的多张图像；

对所述多张图像进行人体动作检测，输出人体动作类别；

对每张图像进行图像抓取检测，得到左手和右手的手部抓取类型和手部边界框；

生成所述手部边界框的操作物体感兴趣区域，提取所述操作物体感兴趣区域中候选物体区域的物体特征，所述物体特征包括物体类别概率、候选物体区域边界框的宽和高、候选物体区域在原始图像中的位置；

根据所述物体特征识别出所述候选物体区域的操作主体和操作受体；

输出所有图像中出现次数最多的左手手部抓取类型、右手手部抓取类型、所述操作主体和所述操作受体；

生成包括所述左手手部抓取类型、所述右手手部抓取类型、所述操作主体、所述操作受体和所述人体动作类别的机器人操作指令；

将所述机器人操作指令发送给机器人，使得机器人根据所述机器人操作指令复现待机器人复现演示视频中的人体演示动作。

2.根据权利要求1所述的机器人复现人体演示动作的方法，其特征在于，所述生成所述手部边界框的操作物体感兴趣区域，提取所述操作物体感兴趣区域中候选物体区域的物体特征，包括：

根据所述手部边界框和预置的生成感兴趣区规则，生成操作物体感兴趣区域；

对所述操作物体感兴趣区域提取候选物体区域的物体特征。

3.根据权利要求1所述的机器人复现人体演示动作的方法，其特征在于，所述根据所述物体特征识别出所述候选物体区域的操作主体和操作受体，具体包括：

对所述物体特征进行聚类分析，得到操作主体聚类中心和操作受体聚类中心；

将所述操作主体聚类中心和所述操作受体聚类中心输入物体分类器，识别出所述候选区域的操作主体和操作受体。

4.根据权利要求3所述的机器人复现人体演示动作的方法，其特征在于，所述聚类分析为K均值聚类分析，且K的取值为2。

5.根据权利要求1所述的机器人复现人体演示动作的方法，其特征在于，所述对所述多张图像进行人体动作检测，输出人体动作类别，包括：

对所述多张图像提取彩色图像序列和光流图像序列；

将所述彩色图像序列和所述光流图像序列分别输入到预置三维卷积神经网络中提取人体动作特征；

将提取到的所有所述人体动作特征合并成一个一维动作特征向量；

根据预置分类算法对所述一维动作特征向量进行动作分类，输出人体动作类别。

6.根据权利要求5所述的机器人复现人体演示动作的方法，其特征在于，所述预置分类算法包括：支持向量机分类算法或随机森林分类算法。

7.根据权利要求2所述的机器人复现人体演示动作的方法，其特征在于，所述对所述操作物体感兴趣区域提取候选物体区域的物体特征，之前还包括：

根据预先训练好的Mask R-CNN物体检测模型对所述操作物体感兴趣区域进行检测，提取候选物体区域。

8.根据权利要求2所述的机器人复现人体演示动作的方法，其特征在于，所述预置的生成感兴趣区规则为：

将以所述手部边界框为中心，边长为n倍所述手部边界框的高或宽的正方形边界框的图像区域作为操作物体感兴趣区域，其中，所述n大于1。