[发明专利]一种基于文字识别的自动化流程实现方法及系统

权利要求书

1.一种基于文字识别的自动化流程实现方法，其特征在于，包括以下步骤：

获取待执行脚本；

按照预设执行模式执行所述待执行脚本，完成自动化流程实现；其中，执行所述待执行脚本时：基于预训练好的文字识别定位模型识别定位界面执行对象，并对界面执行对象进行相应操作；以脚本当前步骤操作的实际结果与预设结果的比较判定结果，作为是否执行脚本下一步骤的判据。

2.根据权利要求1所述的一种基于文字识别的自动化流程实现方法，其特征在于，所述预训练好的文字识别定位模型的获取步骤包括：

基于预设文字识别范围，获取标注后的训练样本集；

基于获得的标注后的训练样本集，对paddle进行训练，获得训练后的文字识别定位模型；

测试所述训练后的文字识别定位模型，对识别错误的样本数据采用更新标注再次加入训练样本集的方式进行迭代优化，获得预训练好的文字识别定位模型。

3.根据权利要求1所述的一种基于文字识别的自动化流程实现方法，其特征在于，所述预设执行模式为预设初级自动化模式；

所述预设初级自动化模式中，每个当前步骤执行结束后，获取外部输入的执行结果比对、正确性判断数据；当所述外部输入的结果比对、正确性判断数据符合预设要求时，执行当前步骤的下一步骤，否则停止执行当前步骤的下一步骤。

4.根据权利要求1所述的一种基于文字识别的自动化流程实现方法，其特征在于，所述预设执行模式为预设半自动化模式；

所述预设半自动化模式中，每个当前步骤执行结束后，将执行结果进行文字识别，并与预设期待结果进行比对，获得比对结果；获取外部输入的基于比对结果获取的正确性判断数据；当所述正确性判断数据符合预设要求时，执行当前步骤的下一步骤，否则停止执行当前步骤的下一步骤。

5.根据权利要求1所述的一种基于文字识别的自动化流程实现方法，其特征在于，所述预设执行模式为预设完全自动化模式；

所述预设完全自动化模式中，每个当前步骤执行结束后，将执行结果进行文字识别，并与预设期待结果进行比对，获得比对结果；将比对结果与预设阈值比较判定，获得判定结果；当所述判定结果符合预设要求时，执行当前步骤的下一步骤，否则停止执行当前步骤的下一步骤。

6.一种基于文字识别的自动化流程实现系统，其特征在于，包括：

获取模块，用于获取待执行脚本；

执行模块，用于按照预设执行模式执行所述待执行脚本，完成自动化流程实现；其中，执行所述待执行脚本时：基于预训练好的文字识别定位模型识别定位界面执行对象，并对界面执行对象进行相应操作；以脚本当前步骤操作的实际结果与预设结果的比较判定结果，作为是否执行脚本下一步骤的判据。

7.根据权利要求6所述的一种基于文字识别的自动化流程实现系统，其特征在于，所述执行模块中，预训练好的文字识别定位模型的获取步骤包括：

基于预设文字识别范围，获取标注后的训练样本集；

基于获得的标注后的训练样本集，对paddle进行训练，获得训练后的文字识别定位模型；

测试所述训练后的文字识别定位模型，对识别错误的样本数据采用更新标注再次加入训练样本集的方式进行迭代优化，获得预训练好的文字识别定位模型。

8.根据权利要求6所述的一种基于文字识别的自动化流程实现系统，其特征在于，所述执行模块中，预设执行模式为预设初级自动化模式；

所述预设初级自动化模式中，每个当前步骤执行结束后，获取外部输入的执行结果比对、正确性判断数据；当所述外部输入的结果比对、正确性判断数据符合预设要求时，执行当前步骤的下一步骤，否则停止执行当前步骤的下一步骤。