[发明专利]双摄像头视频融合畸变校正与视点微调整方法及系统

权利要求书

1.一种双摄像头视频融合畸变校正与视点微调整方法，其特征在于，包括如下步骤：

步骤S1，制作等比例模型，并使用反差大的单一颜色，注上标记点；

步骤S2，在头戴式设备的上方安装两个环境摄像头，利用所述环境摄像头拍摄图像并进行图像融合标定；每个所述环境摄像头采用广角摄像头，调整两个摄像头的朝向位置，其中一个朝向偏上方，另一个朝向偏下方，两个环境摄像头的视野交叉并且按照实际需求，其中，融合视野大于头戴式设备的视野，融合后的视野中间方向近水平方向；

步骤S3，使用测量工具标定物理空间中VR头盔相对环境摄像头位置，并根据环境摄像头和头戴式设备视点的偏移距离，可以计算出环境摄像头在世界坐标系中的位置；

步骤S4，从所述两个环境摄像头中同时获取一幅当前图像，进行柱面投影操作，特征提取操作，模板匹配操作，渐入渐出技术融合，生成融合图片，对拼接后的图像进行畸变校正，标定视频拼接参数；将拼接后的图像，按照标定时获取的位置信息，进行透视变换，并将转换矩阵保存为视点微调整参数；

步骤S5，根据步骤S4中标定的视频拼接参数和视点微调整参数，对所述两个环境摄像头同时刻拍摄的每组两帧图像，采用以下操作：

获取两个环境摄像头的图像，按照标定好的视频拼接参数和视点微调整参数进行拼接和融合操作；

根据视点微调整参数来转换摄像头视点和虚拟场景摄像头视点的视觉偏差效果；

将映射校正后的图像，通过绿幕技术抠图，然后将虚拟场景集成到实际场景中；

将集成后的图像传输给头戴式设备显示。

2.如权利要求1所述的双摄像头视频融合畸变校正与视点微调整方法，其特征在于，在所述步骤S5中，拼接和融合操作包括：柱面投影、特征提取、模板匹配、拼接融合和畸变校正操作。

3.一种双摄像头视频融合畸变校正与视点微调整系统，其特征在于，包括：虚拟现实头戴式设备、追踪定位器、视景处理计算机、视频处理计算机、两个环境摄像头、模拟器操作仪表和显示屏，其中，虚拟现实头戴式设备与视景处理计算机连接，视景处理计算机和视频处理计算机连接，每个所述环境摄像头与视频处理计算机连接；模拟器操作仪表和显示屏与视景处理计算机连接，所述追踪定位器与所述视景处理计算机连接，

其中，每个所述环境摄像头安装在虚拟现实头戴式设备的上方，用于拍摄图像并进行图像融合标定；每个所述环境摄像头采用广角摄像头，调整两个摄像头的朝向位置，其中一个朝向偏上方，另一个朝向偏下方，两个环境摄像头的视野交叉并且按照实际需求，其中，融合视野大于头戴式设备的视野，融合后的视野中间方向近水平方向；

所述追踪定位器根据标定物理空间中VR头盔相对环境摄像头位置，并根据环境摄像头和头戴式设备视点的偏移距离，可以计算出环境摄像头在世界坐标系中的位置；

所述视频处理计算机用于从所述两个环境摄像头中同时获取一幅当前图像，进行柱面投影操作，特征提取操作，模板匹配操作，渐入渐出技术融合，生成融合图片，对拼接后的图像进行畸变校正，标定视频拼接参数；将拼接后的图像，按照标定时获取的位置信息，进行透视变换，并将转换矩阵保存为视点微调整参数；

所述视景处理计算机用于根据视频拼接参数和视点微调整参数，对所述两个环境摄像头同时刻拍摄的每组两帧图像，采用以下操作：

获取两个环境摄像头的图像，按照标定好的视频拼接参数和视点微调整参数进行拼接和融合操作；

根据视点微调整参数来转换摄像头视点和虚拟场景摄像头视点的视觉偏差效果；

将映射校正后的图像，通过绿幕技术抠图，然后将虚拟场景集成到实际场景中；

将集成后的图像传输给头戴式设备显示；

所述模拟器操作仪表和显示屏用于提供仪表面板按钮以供用户输入操作指令，操作信号会在视景处理计算机进行处理，处理结果会在虚拟现实头戴式设备向所述用户进行呈现。

4.如权利要求3所述的双摄像头视频融合畸变校正与视点微调整系统，其特征在于，每个所述环境摄像头采集的视频图像，包括：彩色视频、深度视频和红外视频。

5.如权利要求3所述的双摄像头视频融合畸变校正与视点微调整系统，其特征在于，所述视频处理计算机执行拼接和融合操作包括：柱面投影、特征提取、模板匹配、拼接融合和畸变校正操作。