[发明专利]一种VR场景自动解说方法、系统和存储介质

说明书

本发明涉及一种VR场景自动解说方法、系统和存储介质，包括：获取待解说VR场景中目标物体的三维数据及其对应的类别，根据该三维数据的目标特征训练得到场景内容识别模块；实时获取用户正在观看的VR画面，并将该VR画面输入至该场景内容识别模块，判断该VR画面中是否存在该目标物体，若是，则根据该目标物体的类别，向用户播放与之对应的解说内容，否则继续实时获取用户正在观看的VR画面，并将该VR画面输入至该场景内容识别模块，判断该VR画面中是否存在该目标物体。本发明对原VR场景的制作没有任何要求，本发明是在在无需对原有VR应用做任何改动的前提下进行VR画面提取。本发明通过特征识别或者机器学习等手段实现场景分类。

技术领域

本发明涉及虚拟现实VR和人工智能领域，通过人工智能的方式对VR场景内容进行识别，并由此提供个性化服务，并特别涉及一种VR场景自动解说方法、系统和存储介质。

背景技术

自助解说系统在市场上已经屡见不鲜，在大型景区或展馆都有普遍应用，这类系统通常是通过GPS定位模块或者射频识别技术获取用户的坐标位置，然后播放提前录制的语音内容，比如专利01274768.8公开一种电子导游设备，通过无线电或者红外编码的方式实现位置的定位。专利200310110653.7利用GPS定位技术对游客位置进行定位，然后播放对应的语音资料。这些自助解说系统多都是基于真实的自然世界，不管射频定位还是GPS定位，这些技术都仅限于真实世界，对于VR场景是无效的。

近年来越来越多的VR应用进入人们视野，比如VR游戏，VR展览馆/VR教育/景区或者家装场景的VR体验馆等。这类VR应用常以在VR画面中提供文字提示来帮助用户去体验，而这些提示信息都是在程序设计时就固化到程序中的，所有人的体验都是千篇一律，难以体现个性化。还有一些VR体验馆会在用户体验的过程中，工作人员在一旁向用户介绍当前VR画面中的一些内容。这类体验方式大大降低了VR的沉浸感。

比如对于一个现有的家装领域样板房VR场景,传统的解决方案是客户在体验VR场景的时候，工作人员根据屏幕映射的画面信息来为客户做针对性的讲解，如果一天接待100人次的话，工作人员需要解说100遍，这大大增加了沟通成本，另一种替代方案是工作人员选择提前录制好解说内容，等用户体验VR时控制播放相应的录音，考虑到客户在体验VR时，可能并不会按照设定的顺序去体验，所以难以良好的控制语音播放的顺序。

发明内容

为了解决上述技术问题，本发明目的在于提供一种应用于VR场景的外置式自助解说系统，可以实现在不干扰原有VR场景运行的基础上，根据VR实时画面自动识别目标，并播放相应的语音内容，不同的工作人员可针对场景内的不同风格或者不同物品录制自己的解说方案。

具体地说，本发明公开了一种VR场景自动解说方法，其中包括：

步骤1、获取待解说VR场景中目标物体的三维数据及其对应的类别，根据该三维数据的目标特征训练得到场景内容识别模块；

步骤2、实时获取用户正在观看的VR画面，并将该VR画面输入至该场景内容识别模块，判断该VR画面中是否存在该目标物体，若是，则执行步骤3，否则继续执行该步骤2；

步骤3、根据该目标物体的类别，向用户播放与之对应的解说内容，待该解说内容播放完毕后，执行该步骤2。

所述的VR场景自动解说方法，其中步骤1中该场景内容识别模块的训练过程具体包括：

对于每个目标物体的三维数据，从多个角度分别截取该目标物体画面，并以每一个画面中目标物体的最大外接框截取目标图像作为该目标物体的模板，分别对每个模板求取其SURF特征点及其特征描述向量，然后将SURF特征点及其特征描述向量存入字典中，则字典内记载所有目标物体以及每个目标物体对应的类别，保存该字典作为该场景内容识别模块的判断依据。

所述的VR场景自动解说方法，其中步骤2中该场景内容识别模块判断该VR画面中是否存在该目标物体的过程具体包括：