[发明专利]基于VST技术的半实物仿真座舱虚实融合模拟系统

权利要求书

1.一种基于VST技术的半实物仿真座舱虚实融合式模拟系统，其特征在于，包括：

飞机仿真系统，其包括航电子系统和飞控子系统；

航电子系统用于产生航电数据并发送至VST视景系统；

飞控子系统用于产生飞控数据并发送至VST视景系统；

摄像头，其用于采集半实物仿真座舱及现场绿幕环境的视频流图像并发送至VST视景系统；

VST视景系统，其接收所述飞机仿真系统以及摄像头发送的数据，所述VST视景系统将摄像头发送的半实物仿真座舱及现场绿幕环境的视频流图像进行处理，得到半实物仿真座舱图像，并将半实物仿真座舱图像与虚拟场景图像进行融合，生成虚实融合后的图像；

头显设备，其接收所述虚实融合后的图像并显示输出。

2.根据权利要求1所述的模拟系统，其特征在于，所述航电子系统将需要通过仪表盘显示的可视数据以共享内存的方式发送到所述VST视景系统中，所述VST视景系统将所述可视数据加载到虚拟场景图像中仪表盘所对应的位置处;

可视数据包括航电子系统输出的仿真数据驱动的航电显示图像，该航电显示图像包括MFD和HUD实时显示的画面。

3.根据权利要求1所述的模拟系统，其特征在于，所述航电子系统以及飞控子系统将控制指令数据通过UDP网络通信的方式送到所述VST视景系统，所述VST视景系统接收并执行控制指令，对于能够改变可视状态的控制指令，在所述虚拟座舱图像中相应的位置处进行改变。

4.根据权利要求3所述的模拟系统，其特征在于，所述VST视景系统还包括将执行控制指令产生的操作数据通过UDP网络通信的方式发送至所述飞机仿真系统；

所述飞机仿真系统根据所述操作数据驱动半实物仿真座舱中的仪表盘显示输出。

5.根据权利要求3所述的模拟系统，其特征在于，能够改变可视状态的控制指令包括点亮或者关闭指示灯，或者改变指示灯的显示颜色。

6.根据权利要求1所述的模拟系统，其特征在于，所述VST视景系统接收所述摄像头发送的半实物仿真座舱及现场绿幕场景的视频流图像，并进行以下处理：

读取图像并进行格式转换，转换为HSV格式的数据；

将HSV格式的图像依次进行分割、形态学变换、图像腐蚀、高斯模糊处理，得到半实物仿真座舱图像。

7.根据权利要求6所述的模拟系统，其特征在于，所述VST视景系统将半实物仿真座舱及现场绿幕场景的视频流图像进行处理之前，还包括抠像的步骤，得到仅包含半实物仿真座舱的图像。

8.根据权利要求6所述的模拟系统，其特征在于，所述VST视景系统将所述实物座舱预处理图像与虚拟场景图像进行融合后，还包括把融合图像转换为UTexture2D资源文件，并创建动态材质，加载UTexture2D资源文件，生成全景图像。

9.根据权利要求1-8任一项所述的模拟系统，其特征在于，所述摄像头为双目摄像头。

10.根据权利要求1-8任一项所述的模拟系统，其特征在于，所述摄像头固定在所述头戴显示设备的前端。