[发明专利]增强现实融合场景的方法及仿真结果批量验证方法

权利要求书

1.一种与现实场景结合的增强现实场景融合方法，该方法用于自动驾驶算法的正确性与性能进行验证；所述融合方法包括以下步骤：

S1.摄像机标定：根据真实图像获得摄像机的内外参数配置；其中包括对摄像机模型坐标到融合图像坐标的映射；

S2.场景重建：通过真实环境中可用的传感器组，建立真实世界的三维描述，并对真实场景中可识别目标的坐标、类别特征进行标注；

S3.场景融合：将虚拟场景与真实场景进行融合。

2.根据权利要求1所述的场景融合方法，所述步骤S1中对于所述摄像机标定中，设定物体的三维坐标是(Xw,Yw,Zw)，而所述物体在融合图像中的坐标是(u,v)；所述摄像机模型是(Xw,Yw,Zw)到(u,v)的映射；所述映射表示为：

式(1)中R,t分别为旋转矩阵和平移矩阵，是摄像机外参数；式(2)中f为摄像机焦距，s为畸变因子，r是二维图像水平与垂直方向比值，(u0,v0)是摄像机光心在图像平面上的投影坐标，λ为参数。

3.根据权利要求1-2中任一项所述的融合方法，所述步骤S2场景重建包括：将二维图像坐标反推三维世界坐标，从而恢复三维场景；其中对于多幅图像的配准，首先采用SIFT算子方法提取出特征点，然后利用外极线约束剔除局外点，最后利用互相关匹配公式进行对应点计算。

4.根据权利要求1所述的融合方法，所述步骤3)的场景融合包括：

S31.初始化融合引擎：所述融合引擎包括虚拟场景管理、真实场景管理和融合计算三个模块，还包括将所述虚拟场景生成引擎生成的虚拟图像叠加到真实图像的应用软件；所述虚拟场景管理模块用于生成虚拟摄像机和虚拟目标物；

S32.根据所述步骤S1的摄像机标定结果，设定虚拟摄像机的参数；根据来自步骤S2的设定数据，初始化虚拟场景中需要设置的目标物；

S33.建立t时刻的虚拟场景环境，包括虚拟目标物及其特征；

S34.重建t时刻的真实场景环境，通过步骤S2)的方法获得真实目标物及其特征；

S35.根据步骤S33和S34的结果，生成t时刻的融合场景；所述虚拟目标物通过融合引擎生成，所述真实目标物通过计算机视觉方法从真实图像中提取，且所述虚拟目标物和真实目标物的特征相同。

5.根据权利要求2所述的融合方法，其中步骤S32中的所述目标物包括目标物的种类、数量、纹理，初始时刻t1的运动特征。

6.根据权利要求2所述的融合方法，所述融合方法还包括：

S36.生成融合场景的渲染图像。

S37.如果已是最后时刻，则退出。否则，更新虚拟场景的设定数据，设置时刻t＝t2并返回S33。

7.一种基于增强现实融合场景的仿真结果批量验证方法，包含如下步骤：

1)对于自动化决策算法，准备若干虚拟场景，并确定虚拟场景预设定数据；

2)将虚拟场景预设定数据批量保存到验证服务器；

3)当所有所述虚拟场景准备完毕，在所述验证服务器上开启批量验证；所述验证服务器对每一个所述虚拟场景，依次执行下列任务：

3.1)调用所述步骤1)中使用的场景融合方法，生成融合场景，其中所述场景融合方法采用权利要求1-6中任一项所述的融合方法；

3.2)将场景融合的结果传递给所述自动化决策算法；

3.3)由所述自动化决策算法生成决策结果；

3.4)所述验证服务器评价所述决策结果，并根据所有的所述决策结果综合生成评价报告。

8.根据权利要求7所述的仿真结果批量验证方法，其中步骤1)中所述自动化决策算法使用了贝叶斯分类器。

9.一种与现实场景结合的增强现实场景融合系统，其采用权利要求1-6中任一项所述的场景融合方法实现。

10.一种基于增强现实融合场景的仿真结果批量验证系统，其采用权利要求7-8中任一项所述的批量验证方法验证。