[发明专利]一种基于模块迁移的无监督目标跟踪方法和系统在审
| 申请号: | 202210992655.6 | 申请日: | 2022-08-18 |
| 公开(公告)号: | CN115375732A | 公开(公告)日: | 2022-11-22 |
| 发明(设计)人: | 谭元咏;康彬;陈高伟;苏诺宇;颜俊 | 申请(专利权)人: | 南京邮电大学 |
| 主分类号: | G06T7/246 | 分类号: | G06T7/246;G06N3/04;G06N3/08 |
| 代理公司: | 南京苏科专利代理有限责任公司 32102 | 代理人: | 姚姣阳 |
| 地址: | 210023 江苏*** | 国省代码: | 江苏;32 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 基于 模块 迁移 监督 目标 跟踪 方法 系统 | ||
1.一种基于模块迁移的无监督目标跟踪方法,其特征在于:包括在网络第一个卷积层与第二个卷积层之间添加在有监督网络中已经训练好的通道注意力层;在通道注意力层后添加元迁移学习网络层;进行回溯训练。
2.根据权利要求1所述的方法,其特征在于:添加通道注意力层的步骤包括:首先,将上一层卷积层输出的多通道特征图作为输入,分别经过自适应最大池化和自适应平均池化操作来聚合特征图的空间信息,生成两个不同的空间上下文描述符:和以分别表示最大合并特征和平均合并特征;之后,将这两个特征经过同一个共享网络,生成通道注意图Mc∈Rc×1×1;在共享网络应用于每个特征后,使用元素求和合并输出特征向量;其中,共享网络由包含两个卷积层的多层感知器(MLP)组成,通道注意力的计算方法为公式(1)所示:
其中,Mc(F)为生成的通道注意图,σ为Sigmoid函数,MLP为多层感知器,AvgPool为平均池化函数,MaxPool为最大池化函数,W0∈Rc/r×cW1∈Rc×c/r为两个连续的卷积核大小为1x1的卷积层,唯一的ReLU激活函数是添加在W0之后;将生成的通道注意力图与输入的多通道特征图进行点乘,可以使得特定通道的特征图对应的权重得到提升,从而让网络能够提取到全面的目标特征。
3.根据权利要求2所述的方法,其特征在于:为了减少参数开销,将输出大小设置为Rc/r×1×1,其中,r=16为还原比。
4.根据权利要求2所述的方法,其特征在于:将元迁移学习网络层添加在通道注意力层后面,通过在线训练缩放和平移参数来构建新的卷积层,在不改变特征图维度大小的情况下对预训练好的通道注意力层参数进行在线更新优化,以此达到通道注意力模块从分类模型到回归模型中的迁移学习。
5.根据权利要求4所述的方法,其特征在于:所述回溯训练包括:输入第一帧图像,通过高斯函数生成随机的初始化目标边界框标签,首先前向跟踪以预测其在后续帧中的位置,直到第三帧图像预测出边界框后,反转视频序列并以第三帧预测出的边界框作为伪标签,进行反向跟踪,预测出第一帧图像上的目标边界框;通过计算第一帧图像上反向跟踪预测出的边界框与初始化的边界框之间的差异,构造网络的一致性损失,并通过大量的视频数据训练不断缩小此差异,从而训练出较好的网络模型参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京邮电大学,未经南京邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210992655.6/1.html,转载请声明来源钻瓜专利网。





