[发明专利]空间可移动视觉传感器阵列系统及图像信息融合方法

权利要求书

1.一种空间可移动视觉传感器阵列系统，其特征在于，它由多个视觉传感器节点、若干个第一级地面站和一个第二级地面站组成；三个视觉传感器节点组成一个组，与一个第一级地面站间通信采用无线方式通信，所有第一级地面站与第二级地面站采用有线以太网通信；其中，所述视觉传感器节点主要包括飞行控制模块、飞行管理模块、摄像头、数字传输电台、无线网卡和微小型旋翼无人机机体等；所述飞行控制模块、飞行管理模块、摄像头、数字传输电台和无线网卡均固定在微小型旋翼无人机机体上，飞行控制模块、摄像头、数字传输电台和无线网卡均与飞行管理模块相连；视觉传感器节点通过数字传输电台发送飞行状态信息给第一级地面站，从第一级地面站接收指令；通过无线网卡发送图像数据到第一级地面站；所述第一级地面站和第二级地面站均为计算机。

2.根据权利要求1所述空间可移动视觉传感器阵列系统，其特征在于，所述飞行控制模块包括DSP、FPGA、惯性器件、GPS接收器、高度传感器和空速传感器等；其中，所述GPS接收器、高度传感器和空速传感器均与FPGA相连，FPGA与DSP相连，惯性器件与DSP相连。

3.一种在权利要求1所述系统上实现的实时图像信息融合方法，其特征在于，主要包括以下步骤：

（1）视觉传感器阵列初始化：包括视觉传感器阵列编队、视觉传感器节点层次结构构造、视觉传感器节点自主飞行到指定位置；

（2）视觉传感器节点采集图像：包括视觉传感器节点接收图像采集指令、图像采集保存与下传；

（3）图像信息融合：包括第一级地面站初步图像信息融合、第二级地面站进一步图像信息融合。

4.根据权利要求3所述的实时图像信息融合方法，其特征在于，所述步骤（1）包括以下子步骤：

（1.1）先对视觉传感器节点进行分组，以三个视觉传感器节点为一组，以等边三角形方式在空间中排列，一组视觉传感器节点与一个第一级地面站通信，对同组上的各视觉传感器节点进行编码，记为A、B、C，根据一组由三个节点组成的特征，以三叉树表征视觉传感器阵列的结构；首先初始化一组视觉传感器节点，作为三叉树的顶点，后续视觉传感器节点添加以组为单位进行；判断当前视觉传感器节点数量是否满足视场范围与精度需求，若未满足，则按广度优先的原则添加一组视觉传感器节点至三叉树中；否则停止添加视觉传感器节点，监测各节点是否异常，若出现异常则调度三叉树最右端节点替换异常节点，使得系统具有一定自修复能力，提高了系统的鲁棒性；

（1.2）视觉传感器节点层次结构以三叉树的形式构造，具体如下：

（1.2.1）先初始化一组视觉传感器节点，作为三叉树顶点并记代数为①，①代节点添加完成；

（1.2.2）第二次向①的A支添加一个组共三个节点；

（1.2.3）第三次向①的B支添加一个组共三个节点；

（1.2.4）第四次向①的C支添加一个组共三个节点，至此②代的节点添加完成；

（1.2.5）第五次按照代数为②的节点的添加方式向①代的A支的②代节点添加一个组；

（1.2.6）第六次依同样的方法向①代的B支的②代节点添加一个组，此时由于新添加组的A节点位置上已经另一节点占据，如虚线指向所示，则去掉此次添加的A支；

（1.2.7）第七次依同样的方法向①代的C支的②代节点添加一个组，此时由于新添加组的A、B节点位置上已经被其他节点占据，如虚线指向所示，则去掉此次添加的A、B支，至此③代节点添加完成；

（1.2.8）此后添加依据上述规则进行；

（1.3）视觉传感器节点自主飞行到指定位置：视觉传感器节点的飞行管理模块和飞行控制模块首先初始化；然后飞行管理模块循环查询接收第一级地面站的飞控指令，若收到飞控指令，则发送具体飞行命令给飞行控制模块，由飞行控制模块控制视觉传感器节点飞行到指定位置。

5.根据权利要求3所述的实时图像信息融合方法，其特征在于，所述步骤（2）包括以下子步骤：

（2.1）视觉传感器节点接收图像采集指令由视觉传感器节点的飞行管理模块通过数字传输电台完成接收，当视觉传感器节点到达指定高度、位置时，若收到第一级地面站图像采集命令，则触发摄像头采集一帧图像；

（2.2）图像采集保存与下传由视觉传感器节点的飞行管理模块、摄像头、无线网卡共同完成，飞行管理模块收到图像采集指令即触发摄像头采集一帧图像并保存该图像，再通过无线网卡将该图像传回第一级地面站。

6.根据权利要求3所述的实时图像信息融合方法，其特征在于，所述步骤（3）具体为：第一级地面站接收完成其对应三帧图像后，进行初步图像信息融合，第一级地面站初步融合得到的图像通过以太网传递给第二级地面站；第二级地面站接收若干第一级地面站初步融合图像数据，进行进一步图像信息融合，得到包含全部图像信息的图像；第一级地面站与第二级地面站图像融合的方法均是基于ORB特征点提取实现，只是融合的图像信息不同，具体如下：首先读入需要融合的多帧图像数据信息，暂时降低图像分辨率以快速获得图像变换矢量，采用ORB算法提取各各帧图像特征点，再由Flann算法进行特征点匹配，根据匹配结果优化、更新相机参数，在解算融合后图像相对于原图像的变换矢量；对原图像数据按特征提取匹配得到的变换矢量作变换，计算原图像各点新坐标，略去图像信息中冗余部分并对曝光进行补偿、修正，即可得到融合了多帧图像数据信息后的新图像。