[发明专利]动物追踪与姿态估计方法、装置、电子设备及存储介质

说明书

本发明公开了一种动物追踪与姿态估计方法、装置、电子设备及存储介质，方法包括：获取动物行为学视频并进行预处理，以得到多帧原始采样图像；将图像分别依次输入预先训练完成的实例分割模型以及姿态估计模型中，以得到各帧图像的实例分割掩膜以及姿态数据后，基于相邻帧的实例分割掩膜的关联关系创建原始轨迹；将各帧图像的实例分割掩膜叠加到对应的原始图像中，并进行裁剪和旋转得到实例裁切图像；基于实例裁切图像、预设的第一轨迹互斥条件以及预设的轨迹匹配条件对原始轨迹进行更新，以得到动物轨迹；将动物轨迹与对应的姿态数据进行结合，以生成可视化的动物行为时空图。本发明解决了目前无法较好的进行多实验动物追踪与姿态估计的问题。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种动物追踪与姿态估计方法、装置、电子设备及存储介质。

背景技术

多动物行为学研究是神经科学研究和医学研究的重要组成部分，对不同环境、不同性格乃至不同疾病的复杂的多动物社交行为学分析是开展相关研究的基础环节。高可靠的多实验动物追踪与姿态估计系统辅助实验数据采集可以排除人类研究者主观经验的影响，同时显著降低实验人员工作量。

现有的多实验动物追踪与姿态估计系统有DeepLabCut(Lauer,J.,Zhou,M.,Ye,S.et al.Multi-animal pose estimation,identification and tracking withDeepLabCut.Nat Methods 19,496–504(2022))、SLEAP(Pereira,T.D.,Tabris,N.,Matsliah,A.et al.SLEAP:A deep learning system for multi-animal posetracking.Nat Methods 19,486–495(2022))、SIPEC(Marks,M.,Jin,Q.,Sturman,O.etal.Deep-learning-based identification,tracking,pose estimation and behaviourclassification of interacting primates and mice in complex environments.NatMach Intell 4,331–340(2022))等。上述系统要求研究人员标注动物ID进行神经网络训练，因此需要实验动物具有显著的视觉特征区分以供标注；DeepLabCut和idTracker.ai(Romero-Ferrero,F.,Bergomi,M.G.,Hinz,R.C.et al.idtracker.ai:tracking allindividuals in small or large collectives of unmarked animals.Nat Methods 16,179–182(2019))还提供基于深度学习的非监督多动物追踪方案，前者使用triplet loss训练基于Transformer的Re-id组件，后者在基于图像进行实验动物区分的基础上设计了一套复杂的算法来进行大量小型实验动物的可靠追踪，但不提供姿态估计功能。

此外，一些实验动物追踪系统还设计了基于图论优化、运动学等与实验动物无关，不基于深度学习的追踪方法。

然而现有技术存在诸多缺点：

1.与实验动物外观无关的追踪方法无法处理运动高度非线性、形态频繁发生变化的实验动物。在剧烈的活动中，频繁发生的遮挡、打斗和高速运动可以严重影响追踪精度，一旦发生对实验动物的错误追踪，即标签切换(ID switch)，错误在时空中传播，使最终的追踪结果难以预测。

2.DeepLabCut、SIPEC、SLEAP等系统采用的基于人工标注的动物数据进行神经网络训练，从而区分不同实验动物的方案需要实验动物具有不同的外观特征以供人类区分和标注，这在大量小型实验动物(如蚂蚁、果蝇等)是不可实现的。此外，实验动物往往外观高度相似，研究人员难以区分。在实验动物上引入额外标记则可能对实验动物造成难以预料的影响，降低最终实验结果可靠性。此外，人工标注动物ID也为研究人员引入了额外的工作。