[发明专利]一种基于神经网络的湖羊目标实时跟踪方法

权利要求书

1.一种基于神经网络的湖羊目标实时跟踪方法，其特征在于，包括：

采集和处理湖羊视频和图片数据，建立以湖羊为目标的跟踪数据集；

建立添加了注意力机制模块的神经网络模型，利用处理好的数据集和公开的一些羊类数据集对该神经网络模型进行训练，并得到预训练模型；

将预训练模型搭载到计算机设备上，利用跟踪算法和摄像设备采集湖羊视频，跟踪所述目标或者实时跟踪识别湖羊目标，输出跟踪结果。

2.如权利要求1所述的一种基于神经网络的湖羊目标实时跟踪方法，其特征在于：所述建立跟踪数据集包括图片跟踪训练集与视频跟踪训练集。

3.如权利要求1或2所述的一种基于神经网络的湖羊目标实时跟踪方法，其特征在于：所述图片跟踪训练集是选取80分钟的高分辨率视频，作为第一原始数据集；每隔60到120帧采样，提供人工标注的bounding-box，得到的图片作为跟踪训练集。

4.如权利要求2所述的一种基于神经网络的湖羊目标实时跟踪方法，其特征在于：所述视频跟踪训练集是选取80分钟视频，作为第二原始数据集对，进行分段，每隔10帧截取一张图片，并标注好，建立视频跟踪测试集。

5.如权利要求3或4所述的一种基于神经网络的湖羊目标实时跟踪方法，其特征在于：建立跟踪数据集是基于注意力的编码器-解码器模块的辅助所完成的。

6.如权利要求5所述的一种基于神经网络的湖羊目标实时跟踪方法，其特征在于：用编码器接收主干网络提取出的多个模板特征，并将已编码的特征和掩膜传递给解码器，增强特征表示，

编码器的注意力基本块如下：

其中，A_K→Q为相似矩阵；为查询信息，为密钥，V∈为查询得到的值；R为输入样本，N_q＝n×H×W为Q需要查询的特征数量n和尺寸，H为高度，W为宽度；C为样本特征维度；N_k为K需要查询的向量的数量和尺寸；为通道维度上Q，K经过L2正则化后的特征；col代表此处的Softmax为对比学习中的归一化指数函数；τ为控制Softmax分布的系数；基本块接受查询密钥和值作为输入，之后输出编码特征和模板掩膜，传递给解码器，

解码器将注意力搜索块特征作为输入

其中，为解码后特征；Ins.Norm代表对搜索区域的特征图的归一化；A_S→S为搜索特征的相似度矩阵；S^’为将输入S重塑后的特征，

输入为S∈R^C×H×W，在解码器模块，利用视频序列中，帧与帧之间的时间信息，以及目标在序列帧中空间信息。

7.如权利要求6所述的一种基于神经网络的湖羊目标实时跟踪方法，其特征在于：预训练模型是使用建立好的数据集和公开数据集，在带有基本算力的图形显卡(GPU)的计算机设备上进行训练和验证所得。

8.如权利要求7所述的一种基于神经网络的湖羊目标实时跟踪方法，其特征在于：所述公开数据集包括微软上下文通用目标数据集、深度学习图像数据集、大尺度单目标跟踪数据集、通用单目标跟踪评测数据集、油管数据集和大规模目标跟踪数据集。

9.如权利要求7或8所述的一种基于神经网络的湖羊目标实时跟踪方法，其特征在于：跟踪算法的基本框架为孪生网络管道，分为两个分支，目标分类分支和边框预测分支；主要通过目标分类分支，区分跟踪目标和干扰目标；在边框预测分支中使用部分检测方法生成更加精确的目标框。

10.如权利要求9所述的一种基于神经网络的湖羊目标实时跟踪方法，其特征在于：孪生网络模型中损失函数如下

其中，W为共享的权重；X₁,X₂表示一个样本对；Y代表两个样本X₁,X₂是否匹配，若不匹配则为0，相似或者匹配则为1；N为输入数据量；m为预定阈值。