[发明专利]一种基于自上而下深度学习架构的昆虫关键点自动标注方法及应用

说明书

本发明提供一种基于自上而下深度学习架构的昆虫关键点自动标注方法及应用。其中，自动标注方法包括：(1)从原始图像中分割出交互单元的轮廓；从每个交互单元轮廓中分割出昆虫个体的椭圆区域，对椭圆区域进行处理得到中心化图像；(2)对中心化图像中的昆虫个体进行人工标注关键点，得到昆虫个体关键点的数据集，以该数据集为训练集构建神经网络模型；(3)对待处理原始图像进行步骤(1)处理，得到待标注的中心化图像，利用上述神经网络模型对待标注中心化图像自动标注关键点；(4)对已标注关键点的中心化图像进行处理，得到关键点在对应交互单元轮廓中的坐标。本发明自动标注方法，识别速度快，准确度高，能够识别处于复杂环境或重叠状态的个体。

技术领域

本发明属于动物行为学及机器视觉技术领域，具体涉及一种基于自上而下深度学习架构的昆虫关键点自动标注方法及应用。

背景技术

昆虫的行为是神经活动的最终输出，而在社交行为中，个体展现出比单独情况下更复杂的行为模式。昆虫个体通过感知另一同类个体，预估对方的行为并规划自身的动作，并且对对方的行为做出相应的反馈，这一交互过程中的许多元素都是神经科学研究的重要方面。

小型昆虫(例如果蝇)作为社交行为的研究对象有以下的优势：繁殖快速，神经结构简单，易于神经操控，体型小易于设计高通量的实验装置。

对行为过程中的昆虫进行检测分析是进行量化分析的基础，为进一步的系统建模提供原始数据。

社交行为涉及多个昆虫个体，要分析其中的行为模式，需要用到每个个体精确的关键点位置信息。现有技术中对关键点的标注方法一般有人工标注法、传统图像处理法和自下而上的神经网络自动标注法三种。

在高通量测量时，如果使用人工观测标注法，人力和时间耗费巨大，而且会带来主观因素导致的偏差。

基于传统图像处理的方法(ctrax(Branson,K.,Robie,A.A.,Bender,J.,Perona,P.,and Dickinson,M.H.(2009).High-throughput ethomics in large groups ofDrosophila.Nat Methods 6,451-457.)、qtrak(Dankert,H.,Wang,L.,Hoopfer,E.D.,Anderson,D.J.,and Perona,P.(2009).Automated monitoring and analysis of socialbehavior in Drosophila.Nat Methods 6,297-303.))需要用到动物身体结构及环境信息等先验知识，泛化性不好，对环境和动物体型的变化敏感，对社交行为下昆虫的识别准确率不高。

因此自动关键点检测技术是大规模社交行为分析的基础，然而现有的自下而上方法(DeepLabCut(Mathis,A.,Mamidanna,P.,Cury,K.M.,Abe,T.,Murthy,V.N.,Mathis,M.W.,and Bethge,M.(2018).DeepLabCut:markerless pose estimation of user-defined body parts with deep learning.Nat Neurosci 21,1281-1289.))，原理是先检测出所有关键点，然后把各个关键点归类到各个个体上，当个体轮廓之间出现重叠时(这种情况在社交行为过程中经常发生)，个体的各个部分不易分离，个体间的关键点容易互相混淆，同时，遮挡也会导致关键点遗漏或发生偏离。

发明内容

为解决上述现有技术中存在的问题，量化小型昆虫的社交行为，本发明提供一种基于深度学习的自顶向下多昆虫关键点自动标注方法，及其在昆虫行为识别中的应用。

一种基于自上而下深度学习架构的昆虫关键点自动标注方法，包括以下步骤：

(1)从原始图像中分割出交互单元的轮廓并确定其范围；