[发明专利]一种机器人的远程控制方法、人体边界框确定方法及系统

说明书

本发明涉及一种机器人的远程控制方法、人体边界框确定方法及系统，属于图像处理技术与机器人控制技术领域。该远程控制方法包括以下步骤：(1)在操作端显示机器人现场图像，并接收操作人员的操作视频数据；(2)在视频数据的图像中，基于上一帧图像中关节点坐标数据，生成用于对当前帧图像中人体图像的裁剪边界框；(3)并对基于该裁剪边界框裁切出当前人体图像并转换成标准待识别图像；(4)基于预先训练好的人体姿态估计网络模型，获取当前帧图像中人体关节坐标数据，并依据该关节坐标数据生成机器人控制指令。该方法通过简化其人体边界框确定方法，更好地确保控制指令生成的实时性，其可广泛应用于机器人远程控制等领域。

技术领域

本发明涉及一种基于图像处理技术的机器人控制领域，具体地说，涉及一种能迅速地对视频图像中的人体边界框进行确定的方法与系统及基于该方法的机器人控制方法与虚拟动画的生成方法。

背景技术

随着机器人技术的发展，其在越来越多的工业领域替代操作人员执行相关工作，例如应用于汽车生产的工业机器人；此外，也在一些危险作业环境中直接替代操作人员执行相关工作，例如进入深海作业环境、拆弹及扫雷等会对操作人员的安全造成影响的作业环境中；在这些领域中普及使用机器人，能很好地确保操作人员的人身安全，但是由于机器人的控制技术还未达到真正智能化水平，其通常需要操作人员进行远程操控。

在具体操作控制过程中，通过布设在操作现场的摄像头或搭载在机器人上的摄像头获取环境场景图像后，操作人员基于操作端所显示的视频，并由人手臂模拟现场操作动作，并通过获取该现场操作动作过程中人手臂的关节角度数据，例如，可采用公开号为CN107967687A的专利文献所公开的获取目标物行走姿态的方法；并基于该关节角度数据控制机器人进行现场操作。该技术方案基于贴设在人体上的标记对关节坐标进行识别，从而可基于识别出的关节坐标数据控制现场操作机器人；此外，也可基于该技术在识别出人体关节坐标后，进行实时虚拟动画的生成；但是，该技术需利用标记物进行关节点标记并进行图像识别，其计算过程较为复杂，且易出现因标记被遮挡而存在一定的误判率；且其获取人体边界框的计算方法较为复杂。

此外，在公开号为CN109345504A等专利文献中公开了利用卷积神经网络等模型进行人体边界框的确定，以达到准备并快速的获取人体图像区域，但是其计算方法过于臃肿，实现时计算耗时较大，难以满足机器人控制的实时性要求。

发明内容

本发明的主要目的是提供一种机器人的远程控制方法及系统，以通过简化其人体边界框确定方法，更好地确保控制指令生成的实时性；

本发明的另一目的为提供一种适于上述远程控制方法使用的人体边界框确定方法及系统；

本发明的再一目的是提供一种以上述人体边界框确定方法所构建的实时虚拟动画的生成方法。

为了实现上述目的，本发明提供的机器人的远程控制方法包括以下步骤：

获取步骤，获取机器人的工作场景图像，并在控制端显示工作场景图像；

接收步骤，接收针对操作人员的动作所拍摄的视频数据；

边界确定步骤，在视频数据的图像中，基于上一帧图像中关节点坐标数据，生成用于对当前帧图像中人体图像的裁剪边界框，裁剪边界框为能围住上一帧图像的所有关节点的最小矩形框的外扩矩形框；

标准化步骤，基于外扩矩形框从当前帧图像中裁剪出当前人体图像，并将当前人体图像缩放并填充为标准待识别图像；

识别步骤，基于预先训练好的人体姿态估计网络模型，获取标准待识别图像中人体关节的初始坐标，并将初始坐标变换为在当前帧图像的坐标系中的标准坐标，作为后续处理所用的人体关节坐标数据；

控制步骤，基于所获取的人体关节坐标数据，生成用于控制机器人的关节电机转动的控制指令。