[发明专利]丘脑动态分配的多视皮层信息融合的视觉跟踪方法及系统

说明书

本发明属于类脑智能、人工智能领域，具体涉及一种基于丘脑动态分配的多视皮层信息融合的视觉跟踪方法、系统、装置，旨在解决视觉跟踪方法中不同层之间的信息被同等对待或重要性被固定导致跟踪精度低的问题。本系统方法包括从视频的第t帧图像中获取待跟踪目标的图像及位置标签；对预设的第一网络模型进行训练并更新；令t＝t+1，通过第一网络模型获取待跟踪目标在第t帧图像中的位置标签；获取所述待跟踪目标在第t帧的图像；若t为预设值n的倍数，依次将第一图像更新为所述待跟踪目标在第t‑n+1帧至第t帧的图像，对第一网络模型进行训练并跟新，否则继续跟踪。本发明动态分配不同层的重要性，提高了跟踪精度。

技术领域

本发明属于类脑智能、人工智能领域，具体涉及一种基于丘脑动态分配的多视皮层信息融合的视觉跟踪方法、系统、装置。

背景技术

视觉跟踪任务是计算机视觉中基础的任务之一。现实生活中，比如：视频监督、人机交互等都需要高效且快速的跟踪算法。目前大量的跟踪算法都是基于视皮层启发的算法，而参与视觉处理任务，除了视皮层之外，丘脑在跟踪和识别的任务中扮演着重要的角色。传统的观点认为丘脑只是将信息被动的传递给大脑皮层，只起到一个信息的中转站的作用，但是随着神经科学的不断发展，越来越多的证据表明丘脑广泛的参与了各种认知功能。目前，丘脑与大脑皮层的沟通成为绝大多数意识性全脑理论的核心。

从宏观角度来讲，丘脑可以被分为两个部分：一阶转换区(first-order relay)以及高阶转换区(higher-order relay)。如图7所示，Primary area为初级视皮层，Higher-order area为高级视皮层，Cortex为皮层，1-3和4、5、6表示的是大脑皮层的六层分层结构，Thalamus为丘脑，First order thalamic relay为一阶丘脑转换区，LGN为外膝体，Higher-order thalamic relay为高阶丘脑转换区，pulvinar为丘脑枕，Feedforward为前馈，Feedback为反馈，一阶转换区接收感觉信息并将其传递到初级感觉皮层，高阶转换区与初级感觉皮层以及非初级感觉皮层之间存在着丰富的双向连接。对于感觉信息处理，已经证明高阶转换区可以在皮层区域之间分配或者调节感觉信息的传输，比如丘脑枕在处理视觉信息的时候，会使背侧通路和腹侧通路发生大量交互。在视觉处理任务中，丘脑与众多视皮层之间存在着大量的双向连接。比如说初级视觉皮层1(V1)，初级视觉皮层2(V2)，初级视觉皮层4(V4)，下颞叶皮层(IT)等，大量的双向连接易于形成反馈的回路，使得丘脑对于不同层之间的特征分配不同的重要性。同时，当处理重要的事情的时候，视觉注意机制能够使得人类更加集中注意力，避免受到其他事情的影响。视觉注意机制一直是神经学、心理学、计算机科学等领域的研究热点，当人们在跟踪一个物体的时候，当下一帧到来的时候，会更加偏向于在上一帧物体位置周围取寻找，也就是说会将注意力更加集中在上一帧物体的周围，对于和上一帧物体距离较远的位置分配的注意力会较少。

目前在视觉跟踪任务中，相关滤波(correlation filter)由于其优越的计算效率以及强大的性能而受到广泛关注。相关滤波算法是一种模板匹配算法。通过对训练样本的循环采样，最小化一个最小二乘误差，得到一个模板。在新的一帧到来时，在上一帧目标周围采样，与该模板匹配得分最高者，即为新帧目标所在处。一开始用的特征是像素级的特征，后来使用Hog特征，颜色直方图特征等。近年来，深度学习逐渐取代了传统的特征提取算法，其强大的特征表示能力，使得它在视觉检测，分割中都有着广泛应用。