[发明专利]基于视觉感知的动态目标识别和情景记忆认知方法及系统

权利要求书

1.基于视觉感知的动态目标识别和情景记忆认知方法，其特征在于，包括以下步骤：

步骤一：利用机器人对当前用户界面进行视觉感知；

步骤二：对视觉感知结果进行场景空间特征处理，构建当前用户界面的空间特征；具体包括以下子步骤：

S201，背景区域处理，根据视觉感知结果，将用户界面的背景区域中静止不动的界面区域设定为背景，同时将背景区域中被遮挡目标的部分也设定为背景；

S202，前景区域处理，将用户界面的前景区域中动态变化且未被遮挡的界面区域设定为前景；

S203，目标遮挡识别，从用户界面的背景区域中识别出属于被遮挡目标的部分区域，作为被遮挡目标的跟踪区域；

S204，目标遮挡关联，结合用户界面的前景和被遮挡目标的跟踪区域，检测出前景与被遮挡目标的关联关系；

步骤三：根据当前用户界面的空间特征，利用滑动窗口锁定用户界面中的可视目标元素；

步骤四：对锁定的可视目标元素进行目标轮廓特征处理，提取出可视目标元素的轮廓特征；

步骤五：从视觉情景记忆中搜索与可视目标元素的轮廓特征相似的目标，若搜索到相似目标且相似目标发生状态变化时，则将可视目标元素的新状态与相似目标进行记忆关联；若未搜索到相似目标，则从知识库中获取可视目标元素的概念标签，将概念标签的目标及其状态存入视觉情景记忆中；

步骤六：以定时和目标状态变化触发方式从视觉情景记忆中提取可视目标元素的状态变化信息，根据当前场景状态S_i下每个可视目标元素的状态变化信息调整每个可视目标元素所对应的滑动窗口，实现对用户界面中的可视目标识别与跟踪。

2.根据权利要求1所述的基于视觉感知的动态目标识别和情景记忆认知方法，其特征在于，所述步骤四具体包括以下子步骤：

S401，前景目标捕获，根据场景空间特征处理提供的前景区域，从前景区域中捕获所有已知空间特征的目标，捕获过程如下式所示：

；

式中，特征匹配（区域_前景，特征_目标i）是实现扫描区域_前景，寻找与特征_目标i相似度满足要求的目标区域；

S402，目标切图，根据步骤S401捕获识别出来的目标，按照各个目标对应的目标区域，从前景区域中完成目标区域的切图，切图过程为：选择目标_i，在视域中提取能完整包含目标i轮廓的左上角边界坐标和右下角边界坐标；依据左上角边界坐标和右下角边界坐标进行矩形切图，形成关于目标_i的切图；

S403，目标轮廓形成，选择目标i的切图，灰度化切图，计算出切图的亮度梯度；设定梯度阈值，按照梯度阈值提取出目标_i的连续轮廓；按照连续轮廓从切图中提取出目标_i的独立完整的灰度图片：

S404，轮廓特征提取，利用图像形态学方法，对灰度图片进行先腐蚀再膨胀计算，模糊灰度图片的轮廓细节，突出灰度图片的边缘：利用角度梯度计算表示法计算出灰度图片边缘角点，根据边缘角点形成目标i的轮廓特征；

S405，轮廓特征匹配识别，用所提取的目标i的轮廓特征，从已知目标轮廓特征库中进行比对寻找，若找到相似目标轮廓特征，则将目标进行已知目标概念的标注；若未找到相似目标轮廓特征，则将目标i标注为未知目标。

3.根据权利要求1所述的基于视觉感知的动态目标识别和情景记忆认知方法，其特征在于，所述步骤六具体为：通过表象感知技术以定时和目标状态变化触发方式从视觉情景记忆中提取当前用户界面状态下可视目标元素的状态变化信息，状态变化信息包括可视目标元素的空间特征和轮廓特征；将提取出所有可视目标元素的状态变化信息整理形成可视目标元素列表，向识别成果库输出当前用户界面状态下包含的可视目标元素列表；根据当前场景状态S_i下每个可视目标元素的状态变化信息调整每个可视目标元素所对应的滑动窗口，实现对用户界面中的可视目标快速识别和有效跟踪。