[发明专利]基于关键点检测和深度卷积神经网络的鱼体姿态与长度自动分析方法

说明书

本发明涉及一种基于关键点检测和深度卷积神经网络的鱼体姿态与长度自动分析方法，包括步骤：S1、通过水下双目摄像机获取包含鱼群的双目图像，所述双目图像包括左图和右图；S2、在水下环境标定获得双目摄像机参数，并对获取的双目图像进行双目校正。本发明的有益效果是：结合了深度卷积神经网络，对应用环境和场景适应性强；引入关键点检测思想，只关注鱼类身上特定的关键点的空间位置，避免了全局双目匹配在水下应用的困难；所需设备简单，只需要水下双目摄像机和运算后端；可实现实时对图像中不同位置和姿态的多条鱼进行姿态估计和长度测量，准确度和效率较高；让模型同样对任务具有泛化能力，容易从一个工作场景迁移至另一个。

技术领域

本发明涉及水产养殖与水下生物测量领域，尤其包括一种基于关键点检测和深度卷积神经网络的鱼体姿态与长度自动分析方法。

背景技术

在鱼类养殖业中，从业者需要定其对被养殖的鱼群进行生长状态评估，以决定进一步的养殖策略。鱼体的长度信息能够最直观地反映鱼群的生长情况，对鱼群生长状态监控与评估有着重要意义。为了提高鱼类养殖的科学性，高效性，在鱼类养殖中便捷高效地获取准确的鱼体长度信息十分重要。

传统的鱼体长度监测方法依赖于相对繁重的人力资源，缺乏效率。养殖者需捕捞一部分的鱼群，并测量这些样本的大小，以其统计数据来反映整个鱼群的生长状况。这种接触式测量手段不仅会对被捕捞的个体造成直接的伤害，而且还会间接伤害到对整个鱼群。渔业和水产养殖业从业者也可以利用基于视觉智能的系统来监测养殖鱼类的生态，以代替人工测量。一些方法通过纹理以及轮廓的几何特征对鱼体进行检测和定位，其错误率较高，对环境和鱼类本身的姿态变化的适应力较弱。在长度估计种，绝大多数基于机器视觉的方法都应用了全局或半全局匹配以对双目图像的每个像素进行视差估计，从而将鱼体重投影到世界坐标系下，但由于用于养殖的水下环境经常具有漂浮物、浑浊和光照的影响，这些像素级匹配算法往往无法获得较高的准确度，会直接导致鱼体长度的估测产生较大的误差。

发明内容

本发明的目的是克服现有技术中的不足，提供一种基于关键点检测和深度卷积神经网络的鱼体姿态与长度自动分析方法。

这种基于关键点检测和深度卷积神经网络的鱼体姿态与长度自动分析方法具体包括以下步骤：

S1、通过水下双目摄像机获取包含鱼群的双目图像，所述双目图像包括左图和右图；

S2、在水下环境标定获得双目摄像机参数，并对获取的双目图像进行双目校正；

S3、将双目校正后的双目图像输入深度卷积神经网络中进行目标检测，并按比率扩展目标检测边界框；通过丰富的数据集使模型对环境和目标姿态的变换具有鲁棒性，具有较高的准确率和召回率；避免鱼身的某些关键点处于边界框外部；

S4、匹配双目图像两边包含同一条鱼的边界框：取每对边界框间标准相关系数(Standard Correlation Coefficient)最大且高于预设阈值的双目图像；匹配只在双目图像的同一基线上进行，符合双目成像原理，使匹配结果更具可靠性；

S5、应用关键点检测神经网络对成功匹配的左右边界框内的鱼进行关键点检测，得到预先定义的一系列关键点在图像坐标系下的坐标；

S6、应用双目摄像机参数，通过每个关键点在双目图像左图和右图坐标系下的坐标，将关键点重投影到三维世界坐标系下；

S7、根据三维世界坐标系下的关键点，提取表示鱼身体曲线的一系列点在三维世界坐标系下的坐标，用关键点拟合一条空间二阶曲线；空间二阶曲线的位姿代表所估测的鱼体的位姿，空间二阶曲线的长度为所估测的鱼体长度；即使所测鱼体身体有倾斜或扭动，也能通过拟合曲线准确地测定其长度。