[发明专利]一种人机交互操作信息的获取方法及装置

说明书

本申请公开一种人机交互操作信息的获取方法及装置，其中，所述方法在当发生人机交互事件时，获取交互事件发生时的与交互事件关联的操作界面帧，并确定操作界面帧的唯一性标识图像，根据唯一性标识图像和交互事件在操作界面帧的交互位置信息确定操作定位信息，并根据操作定位信息和交互事件的动作类型生成与所述操作界面帧对应的交互动作信息，进而基于操作界面帧和交互动作信息生成与交互事件对应的子脚本，得到人机交互操作信息。通过相应的功能实体运行本申请方法及装置获取的人机交互操作信息，便可以自动模拟人机交互的行为，实现具有不同的数据结构的系统间的数据对接。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种人机交互操作信息的获取方法及装置。

背景技术

在互联网技术的实际应用中，经常涉及到获取一个系统中的数据并将其输入到另一个系统当中。例如，在电子商务领域，企业或经销商在电商平台上开设店铺，注册用户通过电商平台购买商品从而在电商平台产生订单数据。此时，便需要获取电商平台产生的订单数据并输入到企业或经销商的ERP(Enterprise Resource Planning，企业资源计划)系统或者进销存系统中，以便企业或经销商对其库存、产品及财务等数据进行管理。

上述ERP系统或者进销存系统与电商平台之间的数据传递过程，理论上可以通过EDI(Electronic Data Interchange，电子数据交换)集成技术来实现，即系统与系统之间通过特定的数据接口，采用标准化的格式，利用计算机网络进行结构化数据的传输和交换。然而，由于在开发接口的过程中，需要根据双方系统的开发特点，通过协商制定对接代码或者业务规则，因此，特定数据接口的开发需要较长的时间和相应的技术支持，开发效率低。尤其当涉及到的系统具有不同种类或多个版本时，针对每个系统都需开发出一个特定的接口，这就更加需要花费大量的时间，因而更加降低了开发效率。例如，当前不同种类或版本的ERP系统数量高达1500-2000个，每一种ERP系统与电商平台对接所需的接口都可能不同。此外，很多微小企业使用的ERP或进销存系统的开发商早已不复存在，或者系统版本老旧，压根不能支持数据接口，因而对于这类系统的接口开发更是难上加难。

由此可见，依赖EDI集成技术解决任意不同系统间的数据对接问题是不现实的。实际上，当前很多系统间的数据对接仍然通过人工录入的方式完成。例如，经销商利用人工将电商平台产生的订单数据录入到自己的ERP系统中。因此，如何实现具有不同的数据结构的系统间的数据对接，从而取代人工录入的方式，仍是本领域技术人员亟待解决的技术问题。

发明内容

本申请提供一种人机交互操作信息的获取方法及装置，以实现具有不同的数据结构的系统间的数据对接，从而取代人工录入的方式。

第一方面，本申请提供了一种人机交互操作信息的获取方法，该方法包括：

当发生人机交互事件时，获取交互事件信息；所述交互事件信息包括与交互事件关联的当前操作界面帧和交互事件在所述操作界面帧中的交互位置信息；

确定所述操作界面帧的唯一性标识图像；

根据所述唯一性标识图像和交互位置信息确定操作定位信息；

根据操作定位信息和交互事件的动作类型生成与所述操作界面帧对应的交互动作信息；

基于所述操作界面帧和所述交互动作信息建立与所述交互事件对应的子脚本；

根据多个交互事件对应的子脚本之间的逻辑关系，生成包含子脚本及子脚本执行顺序的人机交互操作信息。

结合第一方面，在第一方面第一种可能的实现方式中，所述唯一性标识图像包括在所述交互位置的预设区域内的一块或多块矩形区域对应的图像。

结合第一方面或第一方面第一种可能的实现方式，在第一方面第二种可能的实现方式中，所述确定操作界面帧的唯一性标识图像，包括：