[发明专利]面向混合现实飞行仿真系统的虚实融合方法

权利要求书

1.一种面向混合现实飞行仿真系统的虚实融合方法，其特征在于，包括如下步骤：

步骤1：离线阶段，预先制作虚拟驾驶舱模型，在驾驶舱模型上选取定位点；

首先，在虚拟驾驶舱模型上分别为追踪器和视觉特征选取任意不共线的数量为n的定位点，且各定位点间保持相对位置不变，定位点均以三维坐标表示，n≥4；然后，在实体驾驶舱上的对应定位点处设置追踪器或选取视觉特征；所选取的定位点形成固定位置结构的注册模板，将各定位点与设置的追踪器或选取的视觉特征建立对应关系；

步骤2：在线阶段，利用VR设备获取追踪器位置，通过双目立体相机识别视觉特征，实时获取实体驾驶舱上追踪器以及视觉特征的三维坐标，对驾驶舱模型的注册位置进行定位；其中：

分别以VR设备和双目立体相机的初始化位置为基准建立基准坐标系和相机坐标系；定位驾驶舱模型在基准坐标系下的注册位置；

预先将利用相机获取的视觉特征定位点的坐标作为输出值，将利用追踪器估计出的视觉特征定位点的坐标作为输入值，求解用于数据补偿的拟合曲线多项式；

在利用双目立体相机定位时，将获得的视觉特征坐标利用所述拟合曲线多项式进行数据补偿，然后利用补偿后的三维坐标进行驾驶舱模型注册位置定位；

将根据追踪器与视觉特征获取的驾驶舱模型注册位置通过卡尔曼滤波融合，获得驾驶舱模型最终的注册位置；

步骤3：预先设置驾驶舱周围环境的空间定位模板，将驾驶舱模型注册位置保存在空间定位模板中，当加载驾驶舱模型时，根据保存位置将驾驶舱模型注册在虚拟飞行环境中。

2.根据权利要求1所述的方法，其特征在于，所述的步骤1中，安装追踪器的定位点在驾驶舱的四周边缘的位置选取，视觉特征在驾驶舱内部的位置选取。

3.根据权利要求1或2所述的方法，其特征在于，所述的步骤1中，对实体驾驶舱上的视觉特征和追踪器进行校准，包括：由双目立体相机识别视觉特征，获取特征的三维坐标，对双目立体相机进行校准，标定左、右相机各自的内参数和外参数；使用VR设备的定位系统获取追踪器的三维坐标，并标定双目立体相机相对于VR设备的外参数。

4.根据权利要求1或2所述的方法，其特征在于，所述的步骤2中，获取追踪器位置，对驾驶舱模型注册位置进行定位，包括：实时获取追踪器的三维坐标，计算坐标集合的质心坐标c₁；获取当前驾驶舱模型上的追踪器定位点在基准坐标系下的三维坐标，并计算坐标集合的质心坐标c₂；将质心坐标c₂与c₁匹配，求取驾驶舱模型上各追踪器定位点坐标与对应实际追踪器位置坐标间的欧氏距离的和最小时，所对应的驾驶舱模型上各追踪器定位点坐标，根据所获取的驾驶舱模型上追踪器定位点坐标计算驾驶舱模型到达注册位置的旋转矩阵和位移矩阵。

5.根据权利要求1或2所述的方法，其特征在于，所述的步骤2中，获取视觉特征，对驾驶舱模型注册位置进行定位，包括：双目立体相机实时影像，从影像的每帧图像中识别视觉特征；将图像中识别的视觉特征的二维坐标，先使用PnP方法转换为相机坐标系下的三维坐标，再根据相机坐标系到基准坐标系的变换关系，转换为在基准坐标系下的三维坐标；对转换得到的视觉特征三维坐标利用所述拟合曲线多项式进行补偿，获得补偿后的实际视觉特征三维坐标；将驾驶舱模型上的视觉特征定位点的三维坐标与对应的实际视觉特征三维坐标按欧氏距离和最小进行拟合，获得驾驶舱模型的视觉特征定位点的三维坐标，然后根据所获取的驾驶舱模型上视觉特征定位点的三维坐标计算驾驶舱模型到达注册位置的旋转矩阵和位移矩阵。