[发明专利]利用事件相机的视觉惯性里程计

权利要求书

1.一种用于使用事件相机为视觉惯性里程计生成经运动校正的图像的方法，所述事件相机刚性连接至惯性测量单元(IMU)，其中，所述事件相机包括布置在图像平面中的像素，所述像素被配置为在场景中存在亮度变化的情况下于所述亮度变化发生时输出事件(e)，其中，每个事件(e)包括所述事件被记录的时间和检测到所述亮度变化的相应像素的位置，所述方法包括以下步骤：

-获取事件的至少一个集合(S)，其中，所述至少一个集合(S)包括多个后续的事件(e)；

-在所述至少一个集合(S)的持续时间内获取IMU数据(D)；

-从事件(e)的所述至少一个集合(S)生成经运动校正的图像，其中，通过将在各个事件的对应事件时间(t_j)处、于经估计的相机位姿处记录的各个事件(e_j)的位置(x_j)分配给经调整的事件位置(x′_j)来获得所述经运动校正的图像，其中，通过对就在参考时间处的经估计的参考相机位姿而言的所述事件(e_j)的位置进行确定来获得所述经调整的事件位置(x′_j)，其中，通过所述IMU数据(D)来对在所述事件时间(t_j)处的所述经估计的相机位姿和在所述参考时间处的所述经估计的参考相机位姿进行估计。

2.根据权利要求1所述的方法，其中，特别是通过所述参考时间处的所述经估计的参考相机位姿到所述经估计的相机位姿的齐次变换而根据所述IMU数据对在所述事件时间(t_j)处的所述经估计的相机位姿进行估计。

3.根据权利要求2所述的方法，其中，为了确定就所述经估计的参考相机位姿而言的所述经调整的事件位置(x′_j)，执行投影方法，所述投影方法包括以下步骤：

-针对所述经估计的相机位姿对就世界参考系中的每个事件位置而言的深度信息(Z)进行估计，其中，根据多个三维路标位置来对所述深度信息(Z)进行估计；

-提供相机投影模型(π)，所述相机投影模型被配置为将三维位置投影到所述事件相机的所述图像平面中的二维位置上；

-使用所述相机投影模型(π)、所述深度信息(Z)和所述变换来将在各个事件的对应事件时间处、于所述经估计的相机位姿处记录的各个事件位置从所述图像平面投影到所述世界参考系中的三维位置，并且将所述事件位置从所述世界参考系重投影到在所述参考时间处的所述经估计的参考相机位姿的所述图像平面上。

4.根据权利要求1至3中的一项所述的方法，其中，所述经运动校正的图像由以下方程式给出：

其中，I(x)是在所述位置x处的所述经运动校正的图像的值，e_j是事件的所述集合S中的第j个事件，并且x′_j是所述经调整的事件位置，其中，δ是delta函数。

5.根据权利要求3所述的方法，其中，所述投影方法根据以下方程式来调整每个事件位置：

其中，x_j是来自所述集合的第j个事件的位置，x_j具有对应事件时间t_j以及经估计的相机位姿其中，是从所述事件时间t_j处的所述经估计的相机位姿到所述参考时间处的所述经估计的参考相机位姿的所述变换其中，π^-1是指逆相机投影模型(π)，并且Z是就相应的所述事件位置x_j而言的所述深度信息(Z)。

6.根据前述权利要求中的一项所述的方法，其中，获取多个集合(S)，其中，每个集合特别地包括相同预定数量的事件(e)，特别地其中，所得到的关联的时间间隔是由相应集合中所包括的相应最早事件和最晚事件来界定的，特别地其中，所述多个集合(S)按时间排序，使得两个后续的集合在时间上是相邻的或者重叠了预定数量的事件，其中，对于每个集合，生成所对应的经运动校正的图像，使得获得了按时间的经运动校正的图像序列。