[发明专利]文本检测、插入符号追踪以及活动元素检测

权利要求书

1.一种被实施在非瞬态计算机可读介质上的、用于预处理屏幕截图帧并且检测活动元素的计算机程序，所述程序被配置为使至少一个处理器：

在前一个屏幕截图帧上运行计算机视觉(CV)预处理；

确定所述前一个屏幕截图帧中的图形元素的类型和位置；

确定变化在当前屏幕截图帧与所述前一个屏幕截图帧不同的区域中发生，所述区域至少部分地被包括在准许文本录入的一个或多个图形元素的区内；以及

当所述变化在准许文本录入的一个图形元素中发生时，设置发生了所述变化的所述图形元素作为活动元素。

2.根据权利要求1所述的计算机程序，其中所述程序还被配置为使所述至少一个处理器：

生成在时间窗口期间发生的按键事件的键盘字符队列；

确定变化在两个或更多个图形元素中发生，所述两个或更多个图形元素准许在所述当前屏幕截图帧与所述前一个屏幕截图帧之间的文本录入；

确定在所述前一个屏幕截图帧与所述当前屏幕截图帧之间发生的新添加的按键事件；

对发生了所述变化的所述两个或更多个图形元素的区域执行光学字符识别(OCR)；

将所述新添加的按键事件与发生了所述变化的所述两个或更多个图形元素中的一个图形元素相匹配；以及

设置匹配的所述图形元素作为所述活动元素。

3.根据权利要求1所述的计算机程序，其中所述程序还被配置为使所述至少一个处理器：

取得下一个屏幕截图帧；以及

将所述下一个屏幕截图帧用作所述当前屏幕截图帧并且将所述当前屏幕截图帧用作所述前一个屏幕截图帧来重复所述过程。

4.根据权利要求1所述的计算机程序，其中所述程序还被配置为使所述至少一个处理器：

在所述CV预处理正在运行时暂停对屏幕截图帧之间的变化的确定。

5.根据权利要求1所述的计算机程序，其中当所述当前屏幕截图帧相对于所述前一个屏幕截图帧改变超过阈值时，所述程序还被配置为使所述至少一个处理器：

等待，直到新的当前屏幕截图帧相对于新的前一个屏幕截图帧改变不超过所述阈值为止；以及

当所述新的当前屏幕截图帧相对于所述新的前一个屏幕截图帧改变不超过所述阈值时：

在所述新的当前屏幕截图帧上运行所述CV预处理，以及

确定所述新的当前屏幕截图帧中的图形元素的类型和位置。

6.根据权利要求1所述的计算机程序，其中所述程序还被配置为使所述至少一个处理器：

执行插入符号追踪，以标识插入符号；以及

将所述当前屏幕截图帧中的所述活动元素标识为包括所述插入符号的所述图形元素。

7.根据权利要求1所述的计算机程序，其中

所述当前屏幕截图帧和所述前一个屏幕截图帧以有损格式被压缩，并且

对所述当前屏幕截图帧与所述前一个屏幕截图帧不同的所述区域的所述确定包括：将一个或多个公差应用于所述区域。

8.根据权利要求1所述的计算机程序，其中当对所述当前屏幕截图帧与所述前一个屏幕截图帧不同的所述区域进行确定时，所述程序还被配置为使所述至少一个处理器：

将模糊图像匹配应用于来自所述当前屏幕截图帧的区域和来自所述前一个屏幕截图帧的对应区域，以确定所述区域中是否发生了变化。

9.根据权利要求1所述的计算机程序，其中所述程序是机器人流程自动化(RPA)机器人。

10.根据权利要求1所述的计算机程序，其中当所述当前屏幕截图帧的超过预定百分比的像素与所述前一个屏幕截图帧不同时，所述当前屏幕截图帧被忽略，并且所述逻辑继续进行至下一个屏幕截图帧。