[发明专利]一种机器人的远程控制方法、人体边界框确定方法及系统

权利要求书

1.一种机器人的远程控制方法，其特征在于，所述远程控制方法包括以下步骤：

获取步骤，获取所述机器人的工作场景图像，并在控制端显示所述工作场景图像；

接收步骤，接收针对操作人员的动作所拍摄的视频数据；

边界确定步骤，在所述视频数据的图像中，基于上一帧图像中关节点坐标数据，生成用于对当前帧图像中人体图像的裁剪边界框，所述裁剪边界框为能围住所述上一帧图像的所有关节点的最小矩形框的外扩矩形框；

标准化步骤，基于所述外扩矩形框从所述当前帧图像中裁剪出当前人体图像，并将所述当前人体图像缩放并填充为标准待识别图像；

识别步骤，基于预先训练好的人体姿态估计网络模型，获取所述标准待识别图像中人体关节的初始坐标，并将所述初始坐标变换为在所述当前帧图像的坐标系中的标准坐标，作为后续处理所用的人体关节坐标数据；

控制步骤，基于所获取的人体关节坐标数据，生成用于控制所述机器人的关节电机转动的控制指令；

所述边界确定步骤包括以下步骤：在所述视频数据的图像中，基于上一帧图像中关节点坐标数据，生成用于对当前帧图像中人体图像区域进行表征的边界框，所述边界框为能围住所述上一帧图像的所有关节点的最小矩形框或针对该最小矩形框进行外扩的外扩矩形框；获取所述上一帧图像中关节点坐标数据的步骤包括基于该上一帧图像的外扩矩形框从其上裁剪出人体图像，并将该人体图像缩放并填充为标准待识别图像，基于预先训练好的人体姿态估计网络模型，获取标准待识别图像中人体关节的初始坐标，并将所述初始坐标变换为在所述上一帧图像的坐标系中的标准坐标，构成所述上一帧图像的关节点坐标数据；

对所述最小矩形框在其四个方向上均进行扩大，经扩大后的矩形框所围区域与所述当前帧图像的交集区域的边界构成所述边界框；将所述人体图像等比缩放至一对侧边与标准尺寸边界重合，且另一对侧边与所述标准尺寸边界重合或存有间隙空间，再对存有的所述间隙空间进行填充，而获取所述标准待识别图像；

对被抽检的当前帧图像的边界框按预定比例外扩成临时边界框，以所述临时边界框所围区域与被抽检的当前帧图像的交集区域的边界构成抽检边界框；

基于所述抽检边界框从被抽检的当前帧图像中裁剪出抽检人体图像，并将所述抽检人体图像缩放并填充为基准比对图像；

基于所述人体姿态估计网络模型，获取所述基准比对图像中人体关节的初始坐标，并将该初始坐标变换为在被抽检的当前帧图像的坐标系中的基准坐标；

若被抽检的所述当前帧图像的标准坐标与其基准坐标的偏差超出预设阈值，则以该基准坐标替换标准坐标，作为所述当前帧图像的人体关节坐标数据；

对所述视频数据的起始部分的图像中的人体图像边界框进行标定。

2.一种机器人的远程控制系统，包括处理器与存储器，所述存储器存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，能实现权利要求1所述的远程控制方法的步骤。

3.一种基于实时拍摄视频生成虚拟动画的方法，其特征在于，所述方法包括以下步骤：

接收步骤，接收针对人体动作所拍摄的视频数据；

边界框确定步骤；

标准化步骤，基于外扩矩形框从当前帧图像中裁剪出当前人体图像，并将所述当前人体图像缩放并填充为标准待识别图像；

识别步骤，基于预先训练好的人体姿态估计网络模型，获取所述标准待识别图像中人体关节的初始坐标，并将所述初始坐标变换为在所述当前帧图像的坐标系中的标准坐标，作为后续处理所用的人体关节坐标数据；

生成步骤，基于获取随时间变化的人体关节坐标数据，生成所述虚拟动画；

所述边界框确定步骤包括以下步骤：在视频数据的图像中，基于上一帧图像中关节点坐标数据，生成用于对当前帧图像中人体图像区域进行表征的边界框，所述边界框为能围住所述上一帧图像的所有关节点的最小矩形框或针对该最小矩形框进行外扩的外扩矩形框；获取所述上一帧图像中关节点坐标数据的步骤包括基于该上一帧图像的外扩矩形框从其上裁剪出人体图像，并将该人体图像缩放并填充为标准待识别图像，基于预先训练好的人体姿态估计网络模型，获取标准待识别图像中人体关节的初始坐标，并将所述初始坐标变换为在所述上一帧图像的坐标系中的标准坐标，构成所述上一帧图像的关节点坐标数据；

对所述最小矩形框在其四个方向上均进行扩大，经扩大后的矩形框所围区域与所述当前帧图像的交集区域的边界构成所述边界框；将所述人体图像等比缩放至一对侧边与标准尺寸边界重合，且另一对侧边与所述标准尺寸边界重合或存有间隙空间，再对存有的所述间隙空间进行填充，而获取所述标准待识别图像；

对被抽检的当前帧图像的边界框按预定比例外扩成临时边界框，以所述临时边界框所围区域与被抽检的当前帧图像的交集区域的边界构成抽检边界框；

基于所述抽检边界框从被抽检的当前帧图像中裁剪出抽检人体图像，并将所述抽检人体图像缩放并填充为基准比对图像；

基于所述人体姿态估计网络模型，获取所述基准比对图像中人体关节的初始坐标，并将该初始坐标变换为在被抽检的当前帧图像的坐标系中的基准坐标；

若被抽检的所述当前帧图像的标准坐标与其基准坐标的偏差超出预设阈值，则以该基准坐标替换标准坐标，作为所述当前帧图像的人体关节坐标数据。