[发明专利]动物追踪与姿态估计方法、装置、电子设备及存储介质

权利要求书

1.一种动物追踪与姿态估计方法，其特征在于，包括如下步骤：

获取动物行为学视频，对所述动物行为学视频进行预处理，以得到多帧原始采样图像；

将多帧原始采样图像分别依次输入预先训练完成的实例分割模型以及姿态估计模型中，以得到各帧原始采样图像的实例分割掩膜以及姿态数据后，基于相邻帧的实例分割掩膜的关联关系，创建原始轨迹；

将各帧采样图像的实例分割掩膜叠加到对应的原始采样图像中，并进行裁剪和旋转，以得到实例裁切图像；

基于所述实例裁切图像、预设的第一轨迹互斥条件以及预设的轨迹匹配条件对所述原始轨迹进行更新，以得到动物轨迹；

将所述动物轨迹与对应的所述姿态数据进行结合，以生成可视化的动物行为时空图。

2.根据权利要求1所述的动物追踪与姿态估计方法，其特征在于，所述获取动物行为学视频，对所述动物行为学视频进行预处理，以得到多帧原始采样图像，包括：

获取动物行为学视频，获取所述动物行为学视频中包含多动物的感兴趣区域；

对所述感兴趣区域进行时间与画面的裁切，以获取包含多动物交互行为的视频段；

将所述视频段进行视频帧聚类处理，以得到多帧原始采样图像。

3.根据权利要求2所述的动物追踪与姿态估计方法，其特征在于，采用如下公式来获取相邻帧的实例分割掩膜的关联关系：

其中，M_{t}为第t帧原始采样图像对应的实例分割掩膜，M_{t+1}为第t+1帧原始采样图像对应的实例分割掩膜，Thr_{track}为预设的关联阈值。

4.根据权利要求3所述的动物追踪与姿态估计方法，其特征在于，所述基于所述实例裁切图像、预设的第一轨迹互斥条件以及预设的轨迹匹配条件对所述原始轨迹进行更新，以得到动物轨迹，包括：

对所述实例裁切图像进行筛选，以得到保留图像以及剔除图像；

基于预设的第一轨迹互斥条件，对所述保留图像对应的原始轨迹进行互斥性检查，合并可以确定的原始轨迹并生成按照互斥时段长短进行排序的有序列表；

基于可以确定的原始轨迹的合并情况以及所述有序列表，采用预设的轨迹匹配条件对所述原始轨迹进行合并，以得到优化轨迹；

基于所述剔除图像以及预设的第二轨迹互斥条件对剔除图像对应的轨迹进行分类后，对所述优化轨迹进行更新，以得到所述动物轨迹。

5.根据权利要求4所述的动物追踪与姿态估计方法，其特征在于，所述基于预设的第一轨迹互斥条件，对所述保留图像对应的原始轨迹进行互斥性检查，合并可以确定的原始轨迹并生成按照互斥时段长短进行排序的有序列表，包括：

基于预设的第一轨迹互斥条件，对所述保留图像对应的原始轨迹进行互斥性检查，得到原始轨迹互斥关系并结合预设的最大追踪动物数合并可以确定的原始轨迹；

对所述原始轨迹互斥关系建图，生成两两互斥的原始轨迹集后，按照互斥时段长短进行排序生成由原始轨迹集形成的有序列表。

6.根据权利要求5所述的动物追踪与姿态估计方法，其特征在于，所述基于所述可以确定的原始轨迹的合并情况，采用预设的轨迹匹配条件对所述原始轨迹进行合并，以得到优化轨迹，包括：

判断是否存在可以确定的原始轨迹；

当不存在可以确定的原始轨迹且所述原始轨迹集中的所含元素数量不超过预设的最大追踪动物数时，以互斥时段最长的原始轨迹集对应的实例裁切图像作为样本，并进行降采样处理后生成训练集，通过所述训练集对预设的分类网络进行训练，以得到训练完备的分类网络；

采用所述分类网络对所述保留图像进行分类概率计算，并基于计算出的分类概率进行轨迹合并操作，以得到优化轨迹。