[发明专利]一种基于外观与形态解耦的长时期跨摄像头目标关联方法及系统

说明书

本发明涉及一种基于外观与形态解耦的长时期跨摄像头目标关联方法及系统。该方法对输入的训练图像通过人体稠密解析估计和边缘估计提取人体轮廓图像，求取训练图像与人体轮廓图像的残差，得到人体外观图像；利用形态表征模型对人体轮廓图像进行高级语义特征提取，利用外观表征模型对人体外观图像进行高级语义特征提取；利用三元组损失函数和识别损失函数训练外观表征模型和形态表征模型，采用学习的两个表征模型对待查询行人图像和候选行人图像提取形态特征和外观特征，通过计算相似性得分得到跨摄像头场景中的关联目标。本发明不需要采用复杂的对抗学习模型就能提取行人的形态信息，并可避免挖掘涉及隐私的人脸信息及不可靠的行人步态信息。

技术领域

本发明属于机器人视觉技术和智能监控领域，具体涉及一种基于外观与形态解耦的长时期跨摄像头目标关联方法及系统；通过稠密的人体解析方法估计行人的身体轮廓，求取原始行人外观图像与身体轮廓的残差，以分别获取行人外观信息和形态信息。进一步地，将两类信息映射到高维语义空间进行目标关联学习，以实现长时期跨摄像头目标关联。

背景技术

跨摄像头目标关联任务旨在解决跨摄像头场景下如何对行人目标身份进行匹配，以实现连续的跟踪及轨迹关联。特别的，现有的跨摄像头目标关联任务常针对短时期场景，即假设目标行人在跨摄像头场景下不会改变衣物。为了突破这一限制，不再限制目标行人的衣物是否改变，解决长时期跨摄像头目标关联任务的需求变得更加迫切。对长时期跨摄像头目标关联任务而言，挖掘可靠的行人身份特征十分关键。因而，根据挖掘身份信息方式的不同，现有的长时期跨摄像头目标关联方法及系统可以被粗略地划分为两类，即隐式身份特征学习和显式身份特征学习。

基于隐式身份特征学习的长时期跨摄像头目标关联方法及系统常致力于隐式地从行人图像中解耦出与身份无关的衣物特征和与身份相关的行人形态特征。特别地，一种常见的解决方案(Li Y J,Weng X,Kitani K M.Learning shape representations forperson re-identification underclothing change.Proceedings of the IEEE/CVFWinter Conference on Applications of Computer Vision(WACV).2021:2432-2441.)是利用生成对抗网络生成大量衣物改变的行人图像，并将这些图像引入身份表征学习过程中。利用原始的行人图像和生成的衣物改变行人图像，一些不依赖衣物的行人重识别模型通过提高类内行人特征的紧凑性和类间行人特征的稀疏性以学习身份相关的行人特征。对比而言，隐式身份特征学习不如显式身份特征学习具有可解释性，所以需要更复杂的模型在特征空间中构建原始行人样本与衣服改变的行人样本间的关系。