[发明专利]基于视觉感知的动态目标识别和情景记忆认知方法及系统

说明书

本发明公开了基于视觉感知的动态目标识别和情景记忆认知方法及系统，方法利用机器人对当前用户界面进行视觉感知；对视觉感知结果进行场景空间特征处理，构建当前用户界面的空间特征；根据空间特征锁定用户界面中的可视目标元素并对其进行目标轮廓特征处理，提取出轮廓特征；对界面元素进行特征匹配识别，利用界面元素对应的概念来构建情景记忆，在情景记忆上对每一个概念元素对象在某个时间窗口内的表现完成它曾经和当前的状态、变化的趋势和轮廓等信息的感知，以实现对用户界面表象所蕴含的内在知识进行认知，来提升机器人通过用户界面实施业务操作的精准度和质量。

技术领域

本发明涉及机器人流程自动化技术领域，尤其涉及一种基于视觉感知的动态目标识别和情景记忆认知方法及系统。

背景技术

机器人流程自动化（Robotic process automation，简称RPA）是以软件机器人及人工智能（AI）为基础的业务过程自动化科技。在传统的工作流自动化技术工具中，会由程序员产生自动化任务的动作列表，并且会用内部的应用程序接口或是专用的脚本语言作为和后台系统之间的界面。机器人流程自动化会监视使用者在应用软件中图形用户界面（GUI）所进行的工作，并且直接在GUI上自动重复这些工作。因此可以减少产品自动化的阻碍，因此有些软件可能没有这类用途的API。

机器人流程自动化工具在技术上类似图形用户界面测试工具。这些工具也会自动的和图形用户界面上互动，而且会由使用者示范其流程，再用示范性编程来实现。机器人流程自动化工具的不同点是这类系统会允许资料在不同应用程序之间交换。例如接收电子邮件可能包括接收付款单、取得其中资料，输入到簿记系统中。 如果一个利用视觉作业的机器人不能准确识别应用场景中的可视元素，那么这个机器人就不可能执行准确的业务操作，所以，能够准确识别应用场景中的，特别是变化的可视元素，对视觉机器人的操作作业来说是至关重要的。利用计算机视觉实现对动态目标实施识别和追踪，是构建视觉认知的基本保障，也是利用计算机视觉实现对感知目标进行及时有效操作的保障，它也是计算机视觉走向作业场景认知智能化的基础。

现有的目标识别技术存在以下缺点：现有技术在对界面元素进行识别时，对动态的、非固定的可视界面元素识别效果差，不具备情景记忆功能业务操作精准度不高，完成质量较差。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于视觉感知的动态目标识别和情景记忆认知方法及系统，通过计算机视觉从应用界面（场景）上识别出动态的、非固定的可视界面元素，通过已知概念化的元素特征，对界面元素进行特征匹配识别，利用界面元素对应的概念来构建情景记忆，在情景记忆上对每一个概念元素对象在某个时间窗口内的表现完成它曾经和当前的状态、变化的趋势和轮廓等信息的感知，以实现对用户界面表象所蕴含的内在知识进行认知，来提升机器人通过用户界面（场景）实施业务操作的精准度和质量。

本发明的目的是通过以下技术方案来实现的：

基于视觉感知的动态目标识别和情景记忆认知方法，包括以下步骤：

步骤一：利用机器人对当前用户界面进行视觉感知；

步骤二：对视觉感知结果进行场景空间特征处理，构建当前用户界面的空间特征；

步骤三：根据当前用户界面的空间特征，利用滑动窗口锁定用户界面中的可视目标元素；

步骤四：对锁定的可视目标元素进行目标轮廓特征处理，提取出可视目标元素的轮廓特征；

步骤五：从视觉情景记忆中搜索与可视目标元素的轮廓特征相似的目标，若搜索到相似目标且相似目标发生状态变化时，则将可视目标元素的新状态与相似目标进行记忆关联；若未搜索到相似目标，则从知识库中获取可视目标元素的概念标签，将概念标签的目标及其状态存入视觉情景记忆中；