[发明专利]一种基于文字识别的自动化流程实现方法及系统

说明书

本发明公开了一种基于文字识别的自动化流程实现方法及系统，所述方法包括以下步骤：获取待执行脚本；按照预设执行模式执行所述待执行脚本，完成自动化流程实现；其中，执行所述待执行脚本时：基于预训练好的文字识别定位模型识别定位界面执行对象，并对界面执行对象进行相应操作；以脚本当前步骤操作的实际结果与预设结果的比较判定结果，作为是否执行脚本下一步骤的判据。本发明提供的技术方案中，基于文字识别技术来识别软件界面的文字进而实现自动化执行操作，能够解决目前现有自动化流程执行方法尚存在的技术缺陷。

技术领域

本发明属于自动化流程实现技术领域，特别涉及一种基于文字识别的自动化流程实现方法及系统。

背景技术

目前，主要存在两类自动化流程执行方法，分别是传统自动化执行方法与基于人工智能识别的自动化流程执行方法。其中，传统自动化执行方法包括基于数据驱动的自动化流程执行方法、基于关键字驱动的自动化流程执行方法和基于领域驱动的自动化执行方法，以上三种传统方法基本都是依靠对界面元素名称的记录，并通过自动执行时对该名称的查找，实现相关页面元素的搜寻与定位。

基于现有技术分析可知，现有传统自动化流程执行方法存在一些技术缺陷，具体包括：脚本无法直接编辑，需要录制，且脚本维护费时费力；在软件界面发生名称变化、标识变化等情况时，需要花费较大的成本；在不同的操作系统、硬件架构上，兼容性较差；工作质量由操作者的经验决定，稳定可靠性较差。

发明内容

本发明的目的在于提供一种基于文字识别的自动化流程实现方法及系统，以解决上述存在的一个或多个技术问题。本发明提供的技术方案中，基于文字识别技术来识别软件界面的文字进而实现自动化执行操作，能够解决目前现有自动化流程执行方法尚存在的技术缺陷。

为达到上述目的，本发明采用以下技术方案：

本发明的一种基于文字识别的自动化流程实现方法，包括以下步骤：

获取待执行脚本；

按照预设执行模式执行所述待执行脚本，完成自动化流程实现；其中，执行所述待执行脚本时：基于预训练好的文字识别定位模型识别定位界面执行对象，并对界面执行对象进行相应操作；以脚本当前步骤操作的实际结果与预设结果的比较判定结果，作为是否执行脚本下一步骤的判据。

本发明的进一步改进在于，所述预训练好的文字识别定位模型的获取步骤包括：

基于预设文字识别范围，获取标注后的训练样本集；

基于获得的标注后的训练样本集，对paddle进行训练，获得训练后的文字识别定位模型；

测试所述训练后的文字识别定位模型，对识别错误的样本数据采用更新标注再次加入训练样本集的方式迭代优化，获得预训练好的文字识别定位模型。

本发明的进一步改进在于，所述预设执行模式为预设初级自动化模式；

所述预设初级自动化模式中，每个当前步骤执行结束后，获取外部输入的执行结果比对、正确性判断数据；当所述外部输入的结果比对、正确性判断数据符合预设要求时，执行当前步骤的下一步骤，否则停止执行当前步骤的下一步骤。

本发明的进一步改进在于，所述预设执行模式为预设半自动化模式；

所述预设半自动化模式中，每个当前步骤执行结束后，将执行结果进行文字识别，并与预设期待结果进行比对，获得比对结果；获取外部输入的基于比对结果获取的正确性判断数据；当所述正确性判断数据符合预设要求时，执行当前步骤的下一步骤，否则停止执行当前步骤的下一步骤。

本发明的进一步改进在于，所述预设执行模式为预设完全自动化模式；