[发明专利]一种基于视觉技术的鱼类游过数目与游向的预测方法

权利要求书

1.一种基于视觉技术的鱼类游过数目与游向的预测方法，其特征在于，包括以下步骤：

S1：选择若干数量和种类的鱼，每个种类的鱼数量相等；

S2：将所有的鱼放入一个透明的鱼缸内，录制若干鱼在鱼缸内活动的水下视频；

S3：从水下视频中提取祯，并利用开源图像注释工具在祯图像上添加标签，形成若干标签图像；

S4：将若干标签图像输入训练好的YOLO算法模型中，得到每个鱼的跟踪框；

S5：利用多目标跟踪算法，将每个鱼的跟踪框对应一个跟踪框ID；

S6：在定义计数线BC，计算跟踪框的中心位置A'、以及前一祯的跟踪框ID对应的跟踪框的中心位置A；

S7：连接位置A与位置A'，判断连线A'A是否穿过计数线BC，若是，则判定当前跟踪框ID对应的跟踪框过线，有一条鱼游过计数线BC，鱼的数量加1，向量的方向为该鱼的游向；

S8：遍历每个跟踪框ID对应的跟踪框，计算跟踪框过线的祯数，若同一跟踪框ID的跟踪框在超过帧数阈值后再次过线，则判定同一条鱼徘徊，不计入鱼的数量。

2.根据权利要求1所述的基于视觉技术的鱼类游过数目与游向的预测方法，其特征在于，所述步骤S4包括：

S41：在开源数据库中下载YOLO算法模型，下载鱼类图片的训练集，训练集中包含步骤S1中的鱼的种类；

S42：利用训练集对YOLO算法模型进行训练，形成鱼类探测器；

S43：利用鱼类探测器对每祯的标签图像中的鱼类进行物种识别，生成每个鱼个体的检测框，并在检测框上标注鱼类。

3.根据权利要求1所述的基于视觉技术的鱼类游过数目与游向的预测方法，其特征在于，所述步骤S5包括：

S51：根据当前帧的检测框与前一祯的跟踪框的运动相似性d⁽¹⁾(i，j)和外观相似性d⁽²⁾(i，j)，计算当前帧的检测框与前一祯的跟踪框的总相似性C_i,j；

S52：将总相似性C_i,j与相似性阈值进行比较，将每个鱼的跟踪框对应一个跟踪框ID。

4.根据权利要求3所述的基于视觉技术的鱼类游过数目与游向的预测方法，其特征在于，所述步骤S51中计算当前帧的检测框与前一祯的跟踪框的运动相似性d⁽¹⁾(i，j)的方法为：

d⁽¹⁾(i，j)＝(d_j-y_i)^TS_i^-1(d_j-y_i)

其中，d_j为当前帧的检测框的位置，y_i为前一祯的跟踪框的预测位置，S_i为预测位置与检测框的平均跟踪位置之间的协方差矩阵，T为转置矩阵。

5.根据权利要求3所述的基于视觉技术的鱼类游过数目与游向的预测方法，其特征在于，所述步骤S51中计算当前帧的检测框与前一祯的跟踪框的外观相似性d⁽²⁾(i，j)的方法为：

d⁽²⁾(i，j)＝min{1-r_j^Tr_k⁽ⁱ⁾|r_k⁽ⁱ⁾∈R_i}

其中，r为鱼表面特征的描述子，k为每一次跟踪框所关联的描述子的序号，R_i为存放描述子的集合；

6.根据权利要求3所述的基于视觉技术的鱼类游过数目与游向的预测方法，其特征在于，所述步骤S51中计算当前帧的检测框与前一祯的跟踪框的总相似性C_i,j的方法为：

c_i，j＝λd⁽¹⁾(i，j)+(1-λ)d⁽²⁾(i，j)

其中，λ为权重的超参数。