[发明专利]一种人机交互操作信息的获取方法及装置

权利要求书

1.一种人机交互操作信息的获取方法，其特征在于，所述方法包括：

当发生人机交互事件时，获取交互事件信息；所述交互事件信息包括与交互事件关联的当前操作界面帧和交互事件在所述操作界面帧中的交互位置信息；

确定所述操作界面帧的唯一性标识图像；

根据所述唯一性标识图像和交互位置信息确定操作定位信息；

根据操作定位信息和交互事件的动作类型生成与所述操作界面帧对应的交互动作信息；

基于所述操作界面帧和所述交互动作信息建立与所述交互事件对应的子脚本；

根据多个交互事件对应的子脚本之间的逻辑关系，生成包含子脚本及子脚本执行顺序的人机交互操作信息；

其中，所述唯一性标识图像包括在所述交互位置的预设区域内的一块或多块矩形区域对应的图像；

所述确定操作界面帧的唯一性标识图像，包括：

在所述交互位置的预设区域内选择一块或通过位置布局关联的多块矩形区域；

通过像素比对判断已选择的一块或通过位置布局关联的多块矩形区域对应的图像相对于所述操作界面帧是否具有唯一性；

如果已选择的一块或通过位置布局关联的多块矩形区域对应的图像相对于所述操作界面帧具有唯一性，确定所述一块或通过位置布局关联的多块矩形区域对应的图像为所述操作界面帧的唯一性标识图像；

如果已选择的一块或通过位置布局关联的多块矩形区域对应的图像相对于所述操作界面帧不具有唯一性，则执行在所述交互位置的预设区域内选择另一块矩形区域的步骤，所述另一块矩形区域与所述已选择的一块或多块矩形区域具有位置布局关联。

2.根据权利要求1所述的方法，其特征在于，所述通过像素比对判断已选择的一块或通过位置布局关联的多块矩形区域对应的图像相对于所述操作界面帧是否具有唯一性，包括：

将已选择的一块或通过位置布局关联的多块矩形区域对应的图像与所述操作界面帧的其余区域对应的图像进行像素比对；

如果所述操作界面帧的其余区域中存在与已选择的一块矩形区域对应的图像像素相同的区域，或者，所述操作界面帧的其余区域中存在与已选择的通过位置布局关联的多块矩形区域对应的图像像素相同的区域，并且所述相同的区域间的位置布局与所述多块矩形区域的位置布局相同，确定已选择的一块或通过位置布局关联的多块矩形区域对应的图像相对于所述操作界面帧具有唯一性。

3.根据权利要求1-2任一项所述的方法，其特征在于，所述根据唯一性标识图像和交互位置信息确定操作定位信息，包括：

获取所述唯一性标识图像在所述操作界面帧的当前位置坐标；

解析所述交互位置信息，得到交互位置坐标；

根据所述唯一性标识图像在所述操作界面帧的当前位置坐标和交互位置坐标，确定交互位置与唯一性标识图像所在位置的相对位置关系，以所述唯一性标识图像及所述相对位置关系为操作定位信息。

4.根据权利要求3所述的方法，其特征在于，所述根据唯一性标识图像在所述操作界面帧的当前位置坐标和交互位置坐标，确定交互位置与唯一性标识图像所在位置的相对位置关系，包括：

如果所述唯一性标识图像包括一块矩形区域对应的图像，则根据所述矩形区域在所述操作界面帧的当前位置坐标和交互位置坐标，确定所述交互位置与所述矩形区域对应图像的相对位置关系；

如果所述标识图像包括多块矩形区域，则分别根据每块矩形区域在所述操作界面帧的当前位置坐标和交互位置坐标，确定所述交互位置与每块矩形区域对应图像的相对位置关系。

5.根据权利要求1所述的方法，其特征在于，在基于所述操作界面帧和所述交互动作信息建立与所述交互事件对应的子脚本之后，所述方法还包括：

检查是否存在错误或冗余的子脚本；

如果存在，删除所述错误或冗余的子脚本。

6.根据权利要求5所述的方法，其特征在于，在所述删除错误或冗余的子脚本之后，所述方法还包括：

判断已发生的交互事件是否构成预设的事件全集；

如果已发生的交互事件未构成预设的事件全集，则触发事件全集中的未发生事件，并执行获取交互事件信息的步骤。