[发明专利]文本检测、插入符号追踪以及活动元素检测

权利要求书

1.一种存储计算机程序指令的非瞬态计算机可读介质，所述计算机程序指令在被至少一个处理器执行时，使所述至少一个处理器：

生成键盘字符队列，所述键盘字符队列包括在时间窗口期间发生的按键事件；

确定当前屏幕截图帧与前一个屏幕截图帧不同的一个或多个区域，所述当前屏幕截图帧和所述前一个屏幕截图帧包括显示器的整个屏幕或所述整个屏幕的一部分；

在所确定的所述一个或多个区域中提取一个或多个连接成员，并且对所提取的所述一个或多个连接成员执行光学字符识别OCR，从而产生一个或多个识别字符、一个或多个识别字符序列或两者，以及相应位置；

将所述一个或多个识别字符、所述一个或多个识别字符序列或两者与所述键盘字符队列进行比较；以及

当字符或字符序列与所述键盘字符队列的字符或字符序列相匹配时，从所述键盘字符队列中移除所述字符或字符序列。

2.根据权利要求1所述的非瞬态计算机可读介质，其中所述计算机程序指令在被所述至少一个处理器执行时，使所述至少一个处理器进一步：

将所述当前屏幕截图帧中的具有位置的图形元素设置为活动元素，所述位置包括匹配的所述字符或字符序列的所述位置。

3.根据权利要求1所述的非瞬态计算机可读介质，其中所述键盘字符队列是先进先出FIFO队列，所述先进先出FIFO队列包括被按下的键的字符和所述键在所述时间窗口期间针对所述按键事件中的每个按键事件而被按下的时间。

4.根据权利要求1所述的非瞬态计算机可读介质，其中所述按键事件包括与被按下的键相关联的字符和所述按键事件发生的时间。

5.根据权利要求1所述的非瞬态计算机可读介质，其中所述计算机程序指令在被所述至少一个处理器执行时，使所述至少一个处理器进一步：

取得下一个屏幕截图帧；以及

重复将所述下一个屏幕截图帧用作所述当前屏幕截图帧并且将所述当前屏幕截图帧用作所述前一个屏幕截图帧的过程。

6.根据权利要求1所述的非瞬态计算机可读介质，所述计算机程序指令在被所述至少一个处理器执行时，使所述至少一个处理器进一步：

记录包括多个屏幕截图帧的屏幕视频，所述屏幕视频包括所述当前屏幕截图帧和所述前一个屏幕截图帧。

7.根据权利要求6所述的非瞬态计算机可读介质，其中对所述屏幕视频的所述记录和所述键盘字符队列的所述生成由与执行以下操作的计算系统不同的计算系统执行：对所述当前屏幕截图帧与所述前一个屏幕截图帧不同的所述一个或多个区域的所述确定；对在所确定的所述一个或多个区域中的所述一个或多个连接成员的所述提取；所述OCR对所提取的所述一个或多个连接成员的所述执行；以及对所述一个或多个识别字符、所述一个或多个识别字符序列或两者的所述比较。

8.根据权利要求1所述的非瞬态计算机可读介质，其中

所述当前屏幕截图帧和前一个屏幕截图帧以有损格式被压缩，并且

对所述当前屏幕截图帧与所述前一个屏幕截图帧不同的所述一个或多个区域的所述确定包括：将一个或多个公差应用于所述当前屏幕截图帧和所述前一个屏幕截图帧的对应区域。

9.根据权利要求1所述的非瞬态计算机可读介质，其中对所述当前屏幕截图帧与所述前一个屏幕截图帧不同的所述一个或多个区域的所述确定，对在所确定的所述一个或多个区域中的所述一个或多个连接成员的所述提取，所述OCR对所提取的所述一个或多个连接成员的所述执行，以及对所述一个或多个识别字符、所述一个或多个识别字符序列或两者与所述键盘字符队列的所述比较在不进行视频记录的情况下实时地发生。

10.根据权利要求1所述的非瞬态计算机可读介质，其中除了所述当前屏幕截图帧和所述前一个屏幕截图帧之外，至少一个附加帧被用于对具有差异的所述一个或多个区域的所述确定。