[发明专利]基于投影融合和图像识别的实时模拟操作系统及控制方法

权利要求书

1.一种基于投影融合和图像识别的实时模拟操作系统，其特征在于，包括设备主体、感知模型、三维显示屏和状态信息发布单元；状态信息发布单元设置在观测现场，通过以太网与设备主体连接，自动采集观测现场及待观测设备的全局信息，并自动将采集到的状态信息发布给设备主体；设备主体包括高性能计算机、投影成像及信息采集屏、视频融合器、超短焦投影设备和图像高速采集设备；感知模型在设备使用时置于投影成像及信息采集屏上，用于标记待观测设备；三维显示屏与高性能计算机连接，用于显示观测现场及待观测设备的三维模拟场景；所述系统采用高性能计算机、超短焦投影设备、投影成像及信息采集屏、视频融合器和图像高速采集设备用于场景显示、模型信息采集以及融合处理显示。

2.如权利要求1所述的系统，其特征在于，还包括一个控制器，控制器与高性能计算机通过连接固件连接，用于参数配置和状态信息交互。

3.如权利要求2所述的系统，其特征在于，还包括用于安装各组成设备的操控台体，为设备提供主体安装框架。

4.如权利要求3所述的系统，其特征在于，所述系统用于场景显示时，由所述高性能计算机将信息发布单元传输的场景图象输出到视频融合器，由视频融合器根据所需的分辨率进行视频分路显示，通过超短焦投影设备将图象投影到投影成像及信息采集屏进行二维成像显示；

所述系统用于模型信息采集时，两台以上图像高速采集设备同时采集放置在投影成像及信息采集屏上的感知模型信息，并将采集到的信息传输至高性能计算机，由计算机进行融合处理，并进行图像识别和跟踪，实时计算感知模型的位置；

所述系统用于融合处理显示时，高性能计算机根据采集到的信息构建感知模型的虚拟三维模型，与三维模拟场景进行融合，并由高性能计算机将其输出至三维显示屏进行三维场景显示。

5.如权利要求4所述的系统，其特征在于，还包括光线调节模组，光线调节模组用于操控台内部光路均匀，保证内部摄像机对图像信息采集及识别的正确率。

6.如权利要求5所述的系统，其特征在于，所述感知模型为用于标记某一装备或设备的模型，具有特殊标识；工作时，感知模型摆放在投影成像及信息采集屏上，拖动感知模型来控制三维模拟场景下待观测设备对应的三维模型的同步显示。

7.一种基于权利要求1-6之一所述系统的交互控制方法，其特征在于，包括：

步骤S1：系统启动，状态信息发布单元采集测量现场的全局信息，并将采集到的信息通过以太网传递给设备主体；

步骤S2：高性能计算机向超短焦投影设备提供视频显示信息，在投影成像及信息采集屏上生成全局工作状态二维场景；

步骤S3：高性能计算机根据采集到的全局信息建立三维模拟场景，并建立待观测设备对应的三维模型与三维模拟场景融合；

步骤S4、系统根据接收到的全局信息，定期对二三维场景及三维模型信息进行更新，与观测现场及待观测设备保持一致性；

步骤S5：在二维场景中摆放感知模型，高性能计算机根据感知模型唯一标识携带的虚拟设备状态信息建立三维模型并与三维模拟场景融合；

步骤S6：操作人员通过三维模拟场景下待观测设备的实时状态根据工作需要进行操作。

8.如权利要求7所述的方法，其特征在于，步骤S6具体包括：

步骤S61：保障推演及教学，利用记录的历史数据信息，重现全局工作态势，并对流程进行复现和回放；

步骤S62：场景漫游，通过控制感知模型，把该感知模型放在感知桌面的交互区域，在3D视角下，进行场景漫游，全面了解工作情况。