[发明专利]一种VR场景自动解说方法、系统和存储介质

权利要求书

1.一种VR场景自动解说方法，其特征在于，包括：

步骤1、获取待解说VR场景中目标物体的三维数据及其对应的类别，根据该三维数据的目标特征训练得到场景内容识别模块；

步骤2、实时获取用户正在观看的VR画面，并将该VR画面输入至该场景内容识别模块，判断该VR画面中是否存在该目标物体，若是，则执行步骤3，否则继续执行该步骤2；

步骤3、根据该目标物体的类别，向用户播放与之对应的解说内容，待该解说内容播放完毕后，执行该步骤2。

2.如权利要求1所述的VR场景自动解说方法，其特征在于，步骤1中该场景内容识别模块的训练过程具体包括：

对于每个目标物体的三维数据，从多个角度分别截取该目标物体画面，并以每一个画面中目标物体的最大外接框截取目标图像作为该目标物体的模板，分别对每个模板求取其SURF特征点及其特征描述向量，然后将SURF特征点及其特征描述向量存入字典中，则字典内记载所有目标物体以及每个目标物体对应的类别，保存该字典作为该场景内容识别模块的判断依据。

3.如权利要求2所述的VR场景自动解说方法，其特征在于，步骤2中该场景内容识别模块判断该VR画面中是否存在该目标物体的过程具体包括：

截取该VR画面的视觉中心区域内的图像作为目标图像，然后将目标图像所有SURF特征点以及特征描述向量输入至该场景内容识别模块，计算该目标图像的特征描述向量与该字典中每一种类别的特征匹配数量，根据该数量与预设值的比较，判断该VR画面中是否存在该目标物体。

4.如权利要求1所述的VR场景自动解说方法，其特征在于，步骤1中该场景内容识别模块的训练过程具体包括：

对于每一个目标物体，从多个角度和距离截取该目标物体的多副图像作为样本图像，集合该样本图像形成样本集，通过对该样本图像旋转和/或随机尺寸变换和/或颜色抖动和/或亮度对比度变换扩充该样本集数量后，将该样本集按预设比例分成训练样本集和测试样本集，并生成标注数据文本；

使用卷积神经网络模型对该训练样本集进行训练，将该卷积神经网络模型最后一层的全连接层的节点数目改为目标类别数量，训练过程中，通过测试样本集对训练模型进行验证，验证合格后保存该卷积神经网络模型作为该场景内容识别模块；

步骤2中该场景内容识别模块判断该VR画面中是否存在该目标物体的过程具体包括：

截取该VR画面的视觉中心区域内的图像作为目标图像，将该目标图像送入该场景内容识别模块中进行识别判断该VR画面中是否存在该目标物体。

5.一种VR场景自动解说系统，其特征在于，包括：

模块1、获取待解说VR场景中目标物体的三维数据及其对应的类别，根据该三维数据的目标特征训练得到场景内容识别模块；

模块2、实时获取用户正在观看的VR画面，并将该VR画面输入至该场景内容识别模块，判断该VR画面中是否存在该目标物体，若是，则执行模块3，否则继续执行该模块2；

模块3、根据该目标物体的类别，向用户播放与之对应的解说内容，待该解说内容播放完毕后，执行该模块2。

6.如权利要求5所述的VR场景自动解说系统，其特征在于，模块1中该场景内容识别模块的训练过程具体包括：

对于每个目标物体的三维数据，从多个角度分别截取该目标物体画面，并以每一个画面中目标物体的最大外接框截取目标图像作为该目标物体的模板，分别对每个模板求取其SURF特征点及其特征描述向量，然后将SURF特征点及其特征描述向量存入字典中，则字典内记载所有目标物体以及每个目标物体对应的类别，保存该字典作为该场景内容识别模块的判断依据。

7.如权利要求6所述的VR场景自动解说系统，其特征在于，模块2中该场景内容识别模块判断该VR画面中是否存在该目标物体的过程具体包括：

截取该VR画面的视觉中心区域内的图像作为目标图像，然后将目标图像所有SURF特征点以及特征描述向量输入至该场景内容识别模块，计算该目标图像的特征描述向量与该字典中每一种类别的特征匹配数量，根据该数量与预设值的比较，判断该VR画面中是否存在该目标物体。