[发明专利]一种基于视觉伺服的果蝇跟踪方法及系统

说明书

本发明提出一种基于视觉伺服的果蝇跟踪方法及系统，属于视觉伺服控制领域。本发明首先搭建果蝇跟踪系统，通过对视觉伺服系统参数标定，实时提取图像特征检测果蝇位置，并估计果蝇在下一时刻的位置，设计视觉伺服控制律，控制位移平台执行运动指令，实现当前时刻对果蝇的跟踪。本发明使用在果蝇眼部表达的红色荧光蛋白作为标记，辅以适当的光路设计，使用简单高速的图像处理算法获得了较高的跟踪精度，满足了生物研究中对果蝇这类运动能力较强的目标进行跟踪观察的需求。

技术领域

本发明属于视觉伺服控制领域，尤其涉及一种基于视觉伺服的果蝇跟踪方法及系统。

背景技术

因其基因的可跟踪性、复杂的行为能力和其大脑功能与脊椎动物的相似性，果蝇一直是生物遗传学中的重要研究对象。若要在显微镜下对果蝇这类具有运动能力的目标在一段连续时间内进行跟踪观察，目前仍依赖人工手动调整或者扩大视野范围等简单的方法进行。这些方法操作复杂，而且对于运动能力较强的目标往往无能为力。因此，使用显微视觉伺服控制方法对研究目标进行追踪，可以大大简化操作流程，提高研究的效率。

Lin Cong等人使用视觉伺服方法实现了对幼年斑马鱼的追踪，该方法使用图像处理算法对幼年斑马鱼进行位置估计，误差信号通过PID控制器驱动运动平台进行补偿。然而，与果蝇相比，幼年斑马鱼通体透明，通过相对简单的图像处理就能定位，而且幼年斑马鱼运动能力弱，运动姿态简单，对控制系统的响应频率要求不高。因此，该方法难以直接应用到果蝇的追踪问题上。

Dhruv Grover等人提出了Flyception果蝇自动跟踪系统，该系统的工作原理是：将果蝇放置在一个下凹圆盘中，使用一个二维检流计镜基于视觉反馈调整光路方向,将果蝇保持在相机视野范围内。检流计镜的高速响应使得系统实现了1000Hz以上的高精追踪。然而这套系统具有比较复杂的光路，成本较高，难以集成到现有的显微成像系统中。因此，开发一种适用范围广，使用方便，操作灵活的显微伺服跟踪方法及系统，对于生物研究具有重要意义。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种基于视觉伺服的果蝇跟踪方法及系统。本发明通过设计果蝇跟踪系统，并结合图像处理算法和卡尔曼滤波算法对目标位置进行估计和预测，开发视觉伺服控制算法对目标进行跟踪，从而实现了对自由运动果蝇的高精度追踪。

本发明提出一种基于视觉伺服的果蝇跟踪方法，其特征在于，包括以下步骤：

1)搭建果蝇跟踪系统；所述系统包括：XY平面位移平台，果蝇容器，玻片夹，带有绿色滤光片的汞灯，相机，红色滤光片，显微物镜，反射镜，光学平台和计算机；其中，果蝇容器使用三块边长均为3厘米的石英玻璃片堆叠而成，其中上下两块玻璃片厚度为1毫米，中间一块玻璃片厚度为2.3毫米，中间一块玻璃片中心有一个直径为1厘米的圆孔，该圆孔为果蝇的运动区域；所述XY平面位移平台固定在光学平台上，玻片夹固定在XY平面位移平台上，果蝇容器通过玻片夹固定在XY平面位移平台1上，带有绿色滤光片的汞灯放置在光学平台上，该汞灯从上往下照射果蝇容器，相机固定在光学平台上，相机前端安装显微物镜，显微物镜前端安装红色滤光片，反射镜通过支架固定在光学平台上，反射镜位于果蝇容器正下方，使得从汞灯发出的光线穿过果蝇容器后经反射镜反射垂直进入相机；所述XY平面位移平台与相机分别连接计算机；

2)调节光路共轴，调节汞灯的光线沿竖直方向，反射镜的反射面与汞灯的光线成45°，调节相机光轴沿水平方向且与汞灯光线通过反射镜形成的反射光线平行，使得汞灯的光线垂直进入相机，沿水平方向调节相机位置直至相机获取的图像清晰；

在果蝇容器壁上涂抹防止果蝇爬壁的试剂，通过基因编辑技术将红色荧光蛋白基因植入果蝇体内，将处理完毕的果蝇转移入果蝇容器的圆孔中；

相机与XY平面位移平台分别初始化，其中，相机分辨率设置为256*320，帧率设置为300Hz；

3)使用微型圆形标定板和OpenCV的相机标定函数标定相机成像模型的内参矩阵M_c；