[发明专利]仿生眼定位追踪系统的工作方法

权利要求书

1.一种仿生眼定位追踪系统的工作方法，其特征在于，所述的仿生眼定位追踪系统主要由以下六部分组成：仿生眼云台模块、声音采集传感器阵列、摄像头模块、云台运动控制模块、控制器模块和上位机模块；其中：

所述的仿生眼云台模块包括：一个云台底座、一个搭载平台和左右两个子云台，其中，云台底座与搭载平台之间通过一个水平旋转关节相连，通过搭载平台在云台底座上的水平转动来模仿仿生机器人的颈部转动；在搭载平台上安装有左右两个子云台，左右两个子云台分别各有一个水平旋转架和一个俯仰旋转架，这样，每个子云台都具有水平旋转和俯仰旋转两个转动关节，两个摄像头分别安装在左右两个子云台中间的俯仰旋转架上，充当仿生眼的眼睛，通过左右两个子云台各自的水平旋转和俯仰旋转关节的转动，可以分别调整安装在左右两个子云台上的摄像头指向，来模仿眼睛的转动；

所述的声音采集传感器阵列在本系统中充当仿生耳，将四个特性相同的麦克风，以仿生眼云台底座支点为中心，按正四面体的空间几何关系安装在云台底座中心周围，并将云台底座支点中心作为仿生眼云台基础坐标系的原点，这样，通过采集到的声音信号及声源定位算法，得到说话人嘴部相对于基础坐标系的三维坐标值；

所述的摄像头模块由两个独立的摄像头组成，分别安装在左右两个子云台中间的俯仰旋转架上，在本系统中充当仿生眼的双眼，用来获取视频信息，并将视频数据传给上位机模块；

所述的云台运动控制模块包括：分别安装在左右两个子云台上的水平旋转驱动电机和俯仰旋转驱动电机、一个搭载平台的水平旋转驱动电机、数据传输模块；云台运动控制模块根据接收到的控制器模块输出的各个驱动电机转动信号来控制相应关节的驱动电机进行转动；

所述的控制器模块，一方面采集声音采集传感器阵列的输出信号，运行声源定位算法，获得说话人嘴部相对于云台基础坐标系的三维坐标值，并将该说话人嘴部的三维坐标传给上位机模块；另一方面接收上位机模块发出的控制指令和数据信息，来控制各个驱动电机转动相应角度，同时也向上位机模块返回系统的运动状态；

所述的上位机模块包括：仿生眼云台的眼睛水平转角α₁和β₁的求解运算程序、对搭载平台水平旋转转角θ的求解运算程序、仿生眼云台模块左右两个子云台关节空间的求解运算程序、视觉处理算法程序和与控制器的通信程序；

该仿生眼定位追踪系统的工作方法主要包括以下步骤：

步骤一、系统初始化：系统上电，声音采集传感器阵列进入工作状态，上位机模块显示摄像头模块获取的视频图像，控制器模块控制所有驱动电机复位到初始角度；

步骤二、声源定位：控制器模块读取声音采集传感器阵列采集的声音数据，并运行声源定位算法得到说话人嘴部相对于云台基础坐标系的三维坐标值，将该坐标值传给上位机模块；

步骤三、眼睛水平转角求解：即对仿生眼云台模块左右两个子云台各自水平转角的求解；

上位机模块根据说话人嘴部相对于云台基础坐标系的三维坐标值，折算成说话人嘴部相对于颈部坐标系的三维坐标值，在当前颈部未旋转状态下，来求解两个眼睛分别转向说话人嘴部时所需的水平转角；若其中任意一个的水平转角超过±30度，这时需要对颈部进行旋转调整，则转向步骤四；若求解出来的两个眼睛的水平旋转角都未超过±30度，这时不需要对颈部进行旋转调整，则转向步骤五；

步骤四、对颈部关节进行旋转调整：即对搭载平台水平旋转转角的求解；

上位机模块先根据说话人嘴部相对于颈部坐标系的三维坐标值，以满足搭载平台转向正直面向说话人嘴部为条件，反解出颈部所需的水平旋转角，上位机模块将颈部的水平旋转角发给控制器模块，由控制器模块控制颈部水平旋转驱动电机转动相应角度，实现搭载平台转向正直面对说话人嘴部方向，这样，颈部坐标系也转向正直面对说话人嘴部方向，然后转向步骤五，再相对当前颈部坐标系来进行仿生眼云台模块左右两个子云台的关节空间求解运算，以使得两个眼睛分别转向说话人嘴部方向；

步骤五、仿生眼云台模块左右两个子云台关节空间求解：

上位机模块根据说话人嘴部相对当前颈部坐标系的关系来进行仿生眼云台模块左右两个子云台关节空间求解运算，分别反解出左右两个子云台的俯仰旋转驱动电机、水平旋转驱动电机应当旋转的角度信息，然后发给控制器模块，由控制器模块控制左右两个子云台各自的俯仰旋转驱动电机、水平旋转驱动电机转动相应角度，以实现仿生眼的双眼初步对向说话人的嘴部；

至此，完成了将两个摄像头初步对准说话人嘴部的过程；

步骤六、眼睛方向修正：即对仿生眼云台模块左右两个子云台各个旋转关节转角的修正；

上位机模块运行人脸识别算法，来获取说话人脸部矩形外围轮廓并求取其中心位置在视频图像坐标系中的二维坐标值，根据该二维坐标值与视频图像中心位置的偏移量，分别求出左右两个子云台的俯仰旋转驱动电机和水平旋转驱动电机旋转角度的修正值，然后将上述旋转角度修正值再次发给控制器模块，由控制器模块控制左右两个子云台各自的俯仰旋转驱动电机和水平旋转驱动电机微调相应角度，以实现对仿生眼两个眼睛分别精准朝向说话人的脸部轮廓中心方向，使得说话人脸部矩形轮廓中心出现在摄像头识别的视频图像中心；

步骤七、若控制器模块检测到新的说话人出现时，则循环执行步骤二、步骤三、步骤四、步骤五和步骤六，对新出现的说话人脸进行实时跟踪；若没有新的说话人出现，则循环执行步骤六，使得眼睛的相应自由度根据当前说话人脸位置的移动而调整；

步骤八、检测整个系统是否需要继续工作，若是，则转向步骤七，判断是否有新的说话人出现，若否，则退出工作关机。

2.如权利要求1所述的工作方法，其特征在于，步骤六所提的眼睛方向修正值的计算方法步骤如下：

以下所有角度单位均取为：度(°)，所有与视频图像相关的参数单位均取为：像素；

步骤6.1、上位机模块(600)读取并显示仿生眼的左摄像头(201)和右摄像头(202)获取的视频图像，设图像宽度为W，高度为H；

步骤6.2、上位机模块(600)运行人脸识别算法，分别在左摄像头(201)、右摄像头(202)识别的视频图像中，计算出说话人脸矩形外围轮廓中心位置在左摄像头(201)的视频图像坐标系O_l-X_lY_l和右摄像头(202)的视频图像坐标系O_r-X_rY_r中的二维坐标值：(X_l，Y_l)、(X_r，Y_r)；

步骤6.3、取左摄像头(201)的视频图像坐标系O_l-X_lY_l和右摄像头(202)的视频图像坐标系O_r-X_rY_r的中心位置坐标值均为：(W/2,H/2)，则在左摄像头(201)识别的视频图像中，说话人脸部中心位置的二维坐标值(X_l，Y_l)与视频图像中心位置的二维坐标值(W/2,H/2)偏移量为：

ΔXl=Xl-W/2ΔYl=Yl-H/2]]>

在右摄像头(202)识别的视频图像中，说话人脸部中心位置的二维坐标值(X_r，Y_r)与视频图像中心位置的二维坐标值(W/2,H/2)偏移量为：

ΔXr=Xr-W/2ΔYr=Yr-H/2]]>

步骤6.4、根据偏移量求取双眼相应自由度旋转角度修正值：

左眼水平旋转自由度旋转角修正值：Δα₁＝arctan(ΔX_l/length)；

左眼俯仰旋转自由度旋转角修正值：Δα₂＝arctan(ΔY_l/length)；

右眼水平旋转自由度旋转角修正值：Δβ₁＝arctan(ΔX_r/length)；

右眼俯仰旋转自由度旋转角修正值：Δβ₂＝arctan(ΔY_r/length)；

其中，length为摄像头的焦距参数，根据摄像头的实际参数来设定；旋转角修正值Δα₁、Δα₂、Δβ₁、Δβ₂中均包含正、负号两种情况；

相应驱动电机旋转上述旋转角修正值后，可将说话人脸部矩形外围轮廓调整到图像的中心位置。