[发明专利]基于级联姿势回归的果蝇幼虫体节关键点定位方法

说明书

本发明公开了一种基于级联姿势回归的果蝇幼虫体节关键点自动定位方法，通过记录体节清晰的果蝇幼虫在二维平面上运动的行为数据，并构建体节关键点数据集，用于训练体节关键点定位模型，根据果蝇幼虫自身特点，设计体节关键点回归流程，用于自动化获取果蝇幼虫身体体节信息。本发明结合计算机视觉算法来自动化处理果蝇幼虫数据，得到体节精度的果蝇幼虫身体的表征，避免了大量对果蝇幼虫运动的干扰因素。本发明可节省大量人力物力，并可用于自动化的果蝇幼虫行为分析和将复杂运动进行分解等；无需人工干预，可处理大量数据，为体节精度的自动化行为分析提供了基础。

技术领域

本发明属于行为学领域，涉及一种果蝇幼虫体节自动化提取的方法，具体涉及一种基于级联姿势回归的果蝇幼虫体节关键点定位方法。

背景技术

计算行为学主要是采用计算机技术研究动物行为的学科，它是应用计算机视觉、机器学习等方法研究动物的运动行为。最常见的就是记录并自动化分析动物运动的视频，这对于我们量化运动行为，处理大量数据具有重要意义。利用计算机技术，不仅可以辅助我们完成一些之前需要人来完成的任务，它还可以无监督发现一些新的知识，是当前研究动物行为学和神经科学不可或缺的工具。

果蝇幼虫是一种易于处理的模式生物，它们的神经系统和身体外形都比较简单，但同时拥有比较丰富的行为。对于果蝇幼虫，也许可以确定出所有编码它们复杂运动的神经通路。为了实现这个目的，必须记录在行为发生过程中神经元和肌肉的状态，因此构建自动化量化和分析果蝇幼虫行为的工具非常必要。传统上对果蝇行为的分析主要是依赖于专家的手工操作，比如通过观察记录某个时刻发生了某个行为，这种方式有很多缺点，包括效率低下主观性强等。基于计算机的技术是更好的选择，可以自动并快速提取我们需要的果蝇幼虫运动信息。当前已经有很多针对果蝇幼虫行为分析的工具，但这些工具都不能精细到果蝇幼虫体节的运动。

果蝇幼虫是通过体节蠕动实现运动，因此不管多么复杂的运动都可以分解成体节蠕动。掌握体节运动规律对于研究果蝇幼虫更广泛的行为有重要意义，果蝇幼虫身体可以划分为11个可见的体节，包括三个胸部体节(T₁,T₂T₃)和八个腹部体节(A₁,...,A₈)，相邻体节间有边界，边界与幼虫轮廓的交点可以清晰定位，用这些相交点来表示体节，并称之为体节关键点，人工标注体节也主要是从果蝇幼虫图片中点出这些关键点。而更高效的自动化关键点提取方法对于体节提取有重要意义。当前还没有直接从普通高清摄像头获取果蝇幼虫体节清晰的方法。

级联关键点回归将体节关键点定位作为一个回归问题，从一个初始估计的位置开始，逐渐迭代回归到关键点真实的位置，而算法的关键是如何学习出回归器。我们发现基于回归的关键点定位方法可以用在果蝇幼虫关键点定位上，但针对果蝇幼虫还有一些难点需要解决，当前还没有关于果蝇幼虫体节关键点自动提取方面工作的报道。

发明内容

本发明的目的是提供一种基于级联姿势回归的果蝇幼虫体节关键点定位方法，采用关键点回归方法从果蝇幼虫运动图片中定位出体节关键点，克服当前基于手工标注所具有的各种缺点，适用于基于大量数据的果蝇幼虫运动行为分析。本发明方法通过以下步骤实现：

(1)记录体节清晰的果蝇幼虫在二维平面上运动的视频数据，并构建体节关键点数据集，用于训练体节关键点定位模型；

(2)基于级联姿势回归方法，并根据果蝇幼虫自身特点，设计的体节关键点回归方法，用于自动化处理果蝇幼虫图片。

本发明用改进的关键点回归方法来解决果蝇幼虫体节识别问题。用染色的方法使得果蝇幼虫体节分割线在直观可见，然后直接用高时空分辨率的摄像头采集体节清晰的果蝇幼虫自由爬行视频，并且人工标定部分体节关键点数据构成训练和测试数据集，然后设计关键点回归方法自动提取视频中果蝇幼虫身体的体节关键点。从而可以作为一个自动化体节标定的系统。

所述体节关键点回归方法即级联关键点回归方法。