[发明专利]基于手势的绘图方法、装置、存储介质和计算机设备

权利要求书

1.一种基于手势的绘图方法，包括：

获取实时采集游戏或视频通话过程中的包括手势的图像；

识别所述图像中手势的手势类型；

确定所述手势类型所对应的操作类型；

当所述操作类型为绘图类型时，确定所述手势中用于绘图的骨架节点在所述图像中的绘图位置；

按照连续采集的图像中的多个所述绘图位置，确定所述手势对应的绘图轨迹；

当判断出所述连续采集的图像中的多个所述绘图位置计算失误时，确定所述多个所述绘图位置中位置不一致的绘图位置为错误点，并

针对所述错误点进行以下纠错处理：基于多个所述绘图位置中除所述错误点以外的所述绘图位置生成弧线，以替换所述手势对应的绘图轨迹中对应多个所述绘图位置的线段；

当根据识别到的所述手势类型确定所述操作类型为绘图轨迹部分擦除动作时，根据所述手势在所述图像中的操作位置，对所述操作位置处的所述绘图轨迹进行部分擦除；

将更新后的绘图轨迹展示在实时采集的图像中；

通过图像识别模型，识别所述更新后的绘图轨迹对应的图案类别；

查找与所述图案类别对应的预设图像；

将展示的所述更新后的绘图轨迹替换为所述预设图像后，将所述预设图像展示在实时采集的图像中。

2.根据权利要求1所述的方法，所述识别所述图像中手势的手势类型包括：

从所述图像中分割出手势区域；

在所述手势区域中确定所述手势各骨架节点的位置；

依据各骨架节点的位置，识别出所述手势的手势类型。

3.根据权利要求2所述的方法，其特征在于，所述从所述图像中分割出手势区域包括：

按照所述图像的不同图像属性分别对所述图像提取特征图；

将各所述特征图进行特征融合，得到所述图像的图像特征；

通过手势区域检测模型，根据所述图像特征确定所述手势的包围框坐标；

按照所述包围框坐标从所述图像中分割出手势区域。

4.根据权利要求2所述的方法，其特征在于，所述在所述手势区域中确定所述手势各骨架节点的位置包括：

按照所述手势区域的不同图像属性分别对所述手势区域提取特征图；

将各所述特征图进行特征融合，得到所述手势区域的图像特征；

通过骨架节点识别模型，根据所述手势区域的图像特征，确定所述手势区域中手势的各骨架节点的坐标；

根据各骨架节点的坐标确定所述手势区域中各骨架节点的位置。

5.根据权利要求1所述的方法，其特征在于，所述确定所述手势中用于绘图的骨架节点在所述图像中的绘图位置包括：

确定所述手势中用于绘图的骨架节点；

获取所述用于绘图的骨架节点在所述图像中的位置；

按照所述位置确定所述手势在所述图像中的绘图位置。

6.根据权利要求1所述的方法，其特征在于，所述将更新后的绘图轨迹展示在实时采集的图像中包括：

在所述图像中确定所述更新后的绘图轨迹所经过的像素点；

将所述图像中的所述像素点的像素值更新为预设像素值；

展示已更新像素值的所述图像。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：

当所述操作类型从所述绘图类型变更为绘图轨迹操作类型时，确定发生变更时已形成的绘图轨迹；

对所述已形成的绘图轨迹执行与所述绘图轨迹操作类型相对应的操作；

根据所述操作的结果更新所述图像中展示的绘图轨迹。

8.根据权利要求1至6任一项所述的方法，其特征在于，所述将展示的所述更新后的绘图轨迹替换为所述预设图像包括：

当查找到的预设图像为多个时，展示查找到的多个预设图像；

获取针对所展示预设图像的选择指令；

用所述选择指令所选中的预设图像替换展示的所述更新后的绘图轨迹。