[发明专利]一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法及系统

说明书

本发明提供一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法及系统，该方法包括采集鱼体视频，抽取鱼体的运动子图序列；基于关键帧算法，对一个时段鱼体的运动子图序列进行检测，得到运动鱼体的关键帧子图序列；将关键帧子图序列输入到语义分割网络模型中，在模型中对鱼体部件做分割处理，输出具有语义信息的子图序列；对输出的具有语义信息的子图序列进行处理，得到鱼的体态朝向角度值，并映射到二维空间；分析体态朝向角度作为判据，判定鱼的运动方向，给变化的动作帧添加语义动作标签。本发明利用视频分析技术，监测鱼体动作变化，为进一步实现自动化水产养殖，监测鱼体异常行为，实现早期预警，避免大规模病死提供了有效途径。

技术领域

本发明涉及机器视觉技术领域，具体而言，尤其涉及一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法及系统。

背景技术

条纹斑鲨是一种小型的海生软骨鱼，体内蛋白质含量丰富，可供食用，营养价值高；在药理研究中，作为药材又具有极高的药用价值；鲨鱼还是一种公认的不会患癌症的动物，常用作抗癌药物的研究，医用价值高；而且，相较于其他鱼类，条斑鲨对人类没有攻击性，可进行人工驯养和观赏。人工驯养斑鲨鱼，不仅具有较高的经济价值，而且，在鱼类行为研究领域、医学研究领域、仿生学领域，都有着不可替代的作用，具有广阔的研究前景与指导意义。但是，人工驯养斑鲨鱼对环境要求较高，极易造成斑鲨鱼规模性死亡的情况。应用机器视觉，对视频中的鱼进行运动行为分析，自动识别行为并判断是否出现异常，对异常行为进行诊断，作出早期的预警和养护，具有较高的应用前景和现实意义。

发明内容

根据上述提出的技术问题，而提供一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法及系统。本发明主要利用视频分析技术，监测鱼体动作变化，为进一步实现自动化水产养殖，监测鱼体异常行为，实现早期预警，避免大规模病死提供了有效途径。

本发明采用的技术手段如下：

一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法，包括：

采集鱼体视频，抽取鱼体视频中鱼体的运动子图序列；

基于关键帧算法，对一个时段鱼体的运动子图序列进行检测，得到运动鱼体的关键帧子图序列；

将得到的关键帧子图序列输入到语义分割网络模型中，在模型中对鱼体部件做分割处理，输出具有语义信息的子图序列；

对输出的具有语义信息的子图序列进行处理，得到鱼的体态朝向角度值，并映射到二维空间；

分析体态朝向角度作为判据，判定鱼的运动方向，给变化的动作帧添加语义动作标签。

进一步地，所述采集鱼体视频，抽取鱼体视频中运动鱼体的子图序列，包括：

基于视频数据采集设备，自上而下的采集鱼体视频；

基于混合高斯模型的目标跟踪算法对运动的目标鱼进行跟踪，抽取出鱼体的运动子序列图。

进一步地，所述基于关键帧算法，对一个时段运动鱼体的子图序列进行检测，得到运动鱼体的关键帧子图序列，包括：

设置阈值K的帧数，在每K帧内利用关键帧算法对运动子图序列进行逐一检测；

计算熵值，熵的计算公式为：其中，表示灰度值为i的单帧像素所占比；表示帧f_i的概率密度函数，通过对帧f_i灰度级像素强度直方图进行归一化得到；

提取局部极值点，即熵值间进行比较，提取出其中的极大值点和极小值点；熵值间的比较公式为：

利用密度聚类算法，对提取的局部极值点进行聚类，计算每个极值的局部密度和各密度间的距离；其中，局部密度计算为：