[发明专利]基于视觉飞行自稳定的方法、计算机可读介质和系统

权利要求书

1.一种深度门控循环Q网络用于基于视觉飞行自稳的方法，其特征在于，所述方法包括：

接收由安装在无人机上的相机拍摄的一个以上的原始图像；

接收用于稳定的初始参考图像并从所述初始参考图像获得初始相机位姿；

提取连续图像之间的基本矩阵并估计相对于所述初始相机位姿的当前相机位姿，其中相机位姿包括所述相机的取向和位置；

基于已估计的所述当前相机位姿，预测基于所述深度门控循环Q网络来抵消所述无人机的横向干扰的动作；和

基于预测的所述动作来抵消所述无人机的横向干扰，驱动所述无人机回到所述初始相机位姿。

2.根据权利要求1所述的深度门控循环Q网络用于基于视觉飞行自稳的方法，其特征在于，所述的提取连续图像之间的基本矩阵并估计相对于所述初始相机位姿的所述当前相机位姿还包括：

从两个以上的所述连续图像中提取所述基本矩阵并估计相对于所述初始相机位姿的所述当前相机位姿，包括：

对于每对所述连续图像，相对点跟踪器找到一组点；

估计在当前时间戳接收的当前图像的相对相机位姿，其中所述当前图像 的所述相对相机位姿包括所述当前图像相对于在先前时间戳接收的先前图像的相机取向和位置；

将所述当前图像的所述相对相机位姿变换为序列的所述初始参考图像的坐标系；

存储包括所述相机位姿和图像点在内的当前图像属性；

存储所述先前图像和所述当前图像之间的初始匹配；

给出所述初始参考图像，找到所有接收到的图像的点轨迹；

应用具有一个以上视图的三角互证来计算对应于所述点轨迹的初始三维位置；

应用光束平差法以同时改善相机位姿和三维点；和

给出所有接收到的所述图像，通过矩阵乘法得到相对于所述初始参考图像的旋转矩阵R和平移矩阵T，其中将时间戳t处的所述旋转矩阵R和所述平移矩阵T存储为

3.根据权利要求1所述的深度门控循环Q网络用于基于视觉飞行自稳的方法，其特征在于，所述的提取连续图像之间的基本矩阵并估计相对于所述初始相机位姿的所述当前相机位姿还包括：

提取两个连续图像之间的基本矩阵，并从两个连续图像估计相对于所述初始相机位姿的所述当前相机位姿，

其中所述基本矩阵F被计算为其中[T]_×表示一个斜对称矩阵，表示为K₁和K₂分别用于两个连续图像中的第一图像和的第二图像的相机矩阵，R表示旋转矩阵，T表示平移矩阵，t₁表示所述斜对称矩阵中第三行第二列的数值，t₂表示所述斜对称矩阵中第一行第三列的数值，t₃表示所述斜对称矩阵中第二行第一列的数值；

和所述当前相机机位姿被计算为R₁＝UWV^T,R₂＝UW^TV^T,T₁＝U₃,T₂＝-U₃，其中E＝[T]_×R＝UΣV^T，E表示必要矩阵，R₁表示所述旋转矩阵R的一种解决方案，R₂表示所述旋转矩阵R的另一种解决方案，T₁表示所述平移矩阵T的一种解决方案，T₂表示所述平移矩阵T的另一种解决方案，当det(R₁)＝1时，R₁有效，当det(R₂)＝1时，R₂有效，当三维点的z值为正时，T₁是有效的，T₂是有效的，将时间戳t处的所述旋转矩阵R和所述平移矩阵T存储为