[发明专利]混合相机系统的空间标定方法及装置

说明书

本发明公开了一种混合相机系统及其空间标定方法及装置，其中，方法包括：搭建混合相机系统，混合相机系统由event‑based相机、相机与分光片组成；通过分光片的反射对混合相机系统进行粗对齐，以通过混合相机系统拍摄特定的标定图案，并记录数据；最小化相机拍摄图案之间的投影变换误差，并获取event‑based相机向相机投影的关系，进而完成空间标定。该方法可以准确的标定event‑based相机与普通相机的空间关系，避免普通相机因运动模糊引起的信息丢失，可以大大提升视觉算法的鲁棒性。

技术领域

本发明涉及计算机视觉应用技术领域，特别涉及一种混合相机系统及其空间标定方法及装置。

背景技术

无人机在执行任务时，由于GPS(Global Positioning System，全球定位系统)等辅助定位装置在城市环境内准确程度不高。解决GPS问题的最佳途径是视觉导航，也就是用依附在无人机上的摄像头连续地拍摄图像，通过对图像的处理来完成定位和导航工作。然而，仅仅依靠普通帧率的相机，在拍摄时容易因为无人机运动速度过快造成图像的运动模糊，导致位置估计结果偏差较大，可能引起无人机的飞行控制算法出现问题导致坠毁等事故。

现在的搭载视觉定位装置的无人机应用中，由于普通相机传感器自身的限制，避免运动模糊得方式只有提高快门速度，来减小拍摄时每一帧内高速运动的范围。但面临着两个问题，一方面，进光量会大幅减小，导致图像偏暗，可能导致视觉算法无法正常工作；另一方面，这种方式没有从根本上解决普通相机所导致的问题，无法达到本质上的性能提升。

随着传感器技术的发展，出现了一种新的event-based相机。当event-based相机的单个像素点接收的光强产生变化时，该像素点就会输出一个事件，这就保证了它对亮度变化十分敏感，可以感知高时间分辨率的光强变化，空间分辨率低，有待解决。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种混合相机系统及其空间标定方法，该方法可以准确的标定event-based相机与普通相机的空间关系，避免普通相机因运动模糊引起的信息丢失，可以大大提升视觉算法的鲁棒性。

本发明的另一个目的在于提出一种混合相机系统及其空间标定装置。

为达到上述目的，本发明一方面实施例提出了一种混合相机系统及其空间标定方法，包括以下步骤：搭建混合相机系统，所述混合相机系统由event-based相机、相机与分光片组成；通过所述分光片的反射对所述混合相机系统进行粗对齐，以通过所述混合相机系统拍摄特定的标定图案，并记录数据；最小化相机拍摄图案之间的投影变换误差，并获取所述event-based相机向所述相机投影的关系，进而完成空间标定。

本发明实施例的混合相机系统及其空间标定方法，可以结合高空间分辨率的普通相机和高时间分辨率的event-based相机的优点，构成一个高空间高时间分辨率的混合相机系统，并且准确的标定event-based相机与普通相机的空间关系，避免普通相机因运动模糊引起的信息丢失，可以大大提升视觉算法的鲁棒性，若应用在无人机平台上可提高其飞行安全性。

另外，根据本发明上述实施例的混合相机系统及其空间标定方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述搭建混合相机系统，进一步包括：将所述 event-based相机、所述相机与所述分光片的空间位置p_D，p_C，p_S在xy方向平面的投影构成等腰直角三角形，且z方向上的分量相同，所述event-based相机与所述相机位于所述分光片平面两侧。