[发明专利]一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法及系统

权利要求书

1.一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法，其特征在于，包括：

采集鱼体视频，抽取鱼体视频中鱼体的运动子图序列；

基于关键帧算法，对一个时段鱼体的运动子图序列进行检测，得到运动鱼体的关键帧子图序列；

将得到的关键帧子图序列输入到语义分割网络模型中，在模型中对鱼体部件做分割处理，输出具有语义信息的子图序列；

对输出的具有语义信息的子图序列进行处理，得到鱼的体态朝向角度值，并映射到二维空间；

将图像二值化，计算各部件质心，并利用最大连通域和孔洞填充，确保求取的数值准确性；

利用各部件质心建立随体坐标系，以躯干和头部质心点连线作为Y轴，过躯干质心点且垂直于Y轴的方向为X轴，建立随体坐标系；以Y1轴为横轴，X1轴为纵轴，建立图像坐标系；

体态朝向角度为随体坐标系Y轴与图像坐标系X1轴的夹角，体态朝向角度值的计算公式为：

上式中，A为头部质心；B为躯干质心；为躯干和头部质心连线的向量；为图像坐标系X方向的单位向量；

分析体态朝向角度作为判据，判定鱼的运动方向，给变化的动作帧添加语义动作标签。

2.根据权利要求1所述的基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法，其特征在于，所述采集鱼体视频，抽取鱼体视频中运动鱼体的子图序列，包括：

基于视频数据采集设备，自上而下的采集鱼体视频；

基于混合高斯模型的目标跟踪算法对运动的目标鱼进行跟踪，抽取出鱼体的运动子序列图。

3.根据权利要求1所述的基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法，其特征在于，所述基于关键帧算法，对一个时段运动鱼体的子图序列进行检测，得到运动鱼体的关键帧子图序列，包括：

设置阈值K的帧数，在每K帧内利用关键帧算法对运动子图序列进行逐一检测；

计算熵值，熵的计算公式为：

其中，表示灰度值为i的单帧像素所占比；表示帧f_i的概率密度函数，通过对帧f_i灰度级像素强度直方图进行归一化得到；

提取局部极值点，即熵值间进行比较，提取出其中的极大值点和极小值点；熵值间的比较公式为：

利用密度聚类算法，对提取的局部极值点进行聚类，计算每个极值的局部密度和各密度间的距离；其中，局部密度计算为：

上式中，d_c为截至距离；

各密度间的距离计算公式为：

比较局部密度间的距离和密度值大小，选择局部密度值高以及密度间距离大的点作为聚类中心，利用聚类中心对应的帧号提取出关键帧序列。

4.根据权利要求1所述的基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法，其特征在于，所述将得到的关键帧子图序列输入到语义分割网络模型中，在模型中对鱼体部件做分割处理，输出具有语义信息的子图序列，包括：

训练模型：基于全卷积网络FCN的语义分割模型，将标记鱼的数据集，输入到网络中，通过全卷积、池化、上采样、跳跃结构将鱼体的各部位进行分割，经过训练，使模型识别出鱼体部件类别和所在区域；

分割处理：将关键帧子图序列输入到训练后的网络中进行分割，将鱼体的头部、躯干、左右胸鳍、左右尾鳍、尾部标记。