[发明专利]文本检测、插入符号追踪以及活动元素检测

权利要求书

1.一种包括被体现在非瞬态计算机可读介质上的粘贴文本检测逻辑的计算机程序，所述程序被配置为使至少一个处理器：

监测剪贴板以确定内容在时间窗口内是否已经被添加至针对操作系统的剪贴板；以及

当所述内容在所述时间窗口内已经被添加至所述剪贴板时：

确定当前屏幕截图帧与前一个屏幕截图帧不同的一个或多个区域，所述当前屏幕截图帧和所述前一个屏幕截图帧包括显示器的整个屏幕或所述整个屏幕的一部分，

在所确定的所述一个或多个区域中提取一个或多个连接成员，并且对所提取的所述一个或多个连接成员执行光学字符识别(OCR)，从而产生一个或多个识别字符、一个或多个识别字符序列或两者，以及相应位置，

将所述一个或多个识别字符、所述一个或多个识别字符序列或两者与剪贴板内容进行比较，以及

当字符或字符序列与所述剪贴板内容的字符或字符序列相匹配时，获得所述粘贴文本的坐标，并且设置包括所述粘贴文本的所述坐标的图形元素作为活动元素。

2.根据权利要求1所述的计算机程序，其中所述程序还被配置为使所述至少一个处理器：

清除所述剪贴板，并且针对下一帧重复过程。

3.根据权利要求1所述的计算机程序，其中所述程序还被配置为使所述至少一个处理器：

确定与计算系统的用户交互相关的一个或多个用户手势；

基于所确定的所述一个或多个用户手势，确定粘贴是否已经发生；以及

当所述粘贴已经发生时，执行所述粘贴文本检测逻辑。

4.根据权利要求3所述的计算机程序，其中所述一个或多个用户手势包括鼠标点击、按下控制和V、右键点击加上从应用的菜单中选择粘贴、和/或点击主页按钮并且粘贴于所述应用中。

5.根据权利要求1所述的计算机程序，其中当内容在所述时间窗口内尚未被添加至所述剪贴板时，所述程序还被配置为使所述至少一个处理器：

执行键入文本检测、插入符号追踪或两者；以及

标识所述当前屏幕截图帧中的包括所述键入文本、所述插入符号或两者的活动元素。

6.根据权利要求1所述的计算机程序，其中

所述当前屏幕截图帧和所述前一个屏幕截图帧以有损格式被压缩，并且

对所述当前屏幕截图帧与所述前一个屏幕截图帧不同的所述一个或多个区域的所述确定包括：将一个或多个公差应用于所述当前屏幕截图帧和所述前一个屏幕截图帧的对应区域。

7.根据权利要求1所述的计算机程序，其中所述程序还被配置为使所述至少一个处理器：

将自动校正算法应用于由所述OCR检测到的字符序列；以及

使用经自动校正的所述字符序列来执行与所述剪贴板内容的所述比较。

8.根据权利要求1所述的计算机程序，其中当确定所述当前屏幕截图帧与所述前一个屏幕截图帧不同的所述一个或多个区域时，所述程序还被配置为使所述至少一个处理器：

将模糊图像匹配应用于所述当前屏幕截图帧中的区域和所述前一个屏幕截图帧中的对应区域，以确定所述区域中是否发生了变化。

9.根据权利要求1所述的计算机程序，其中所述程序是机器人流程自动化(RPA)机器人。

10.根据权利要求1所述的计算机程序，其中当所述当前屏幕截图帧的超过预定百分比的像素与所述前一个屏幕截图帧不同时，所述当前屏幕截图帧被忽略，并且所述粘贴文本检测逻辑继续进行至下一个屏幕截图帧。