[发明专利]基于视觉建模和词义分析的VR内容库的构建方法在审
申请号: | 202111636340.X | 申请日: | 2021-12-28 |
公开(公告)号: | CN114429519A | 公开(公告)日: | 2022-05-03 |
发明(设计)人: | 张现丰;刘海军;张仲广;雷婷婷 | 申请(专利权)人: | 北京华录新媒信息技术有限公司 |
主分类号: | G06T17/00 | 分类号: | G06T17/00;G06T7/00;G06T5/40;G06F16/51;G06F16/58;G06F16/583;G06F40/242;G06F40/289 |
代理公司: | 北京力量专利代理事务所(特殊普通合伙) 11504 | 代理人: | 毛雨田 |
地址: | 100043 北京市石景山*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 视觉 建模 词义 分析 vr 内容 构建 方法 | ||
1.一种基于视觉建模和词义分析的VR内容库的构建方法,其特征在于,包括如下步骤:
步骤1、获取真实物体的图像数据,根据图像数据建模后得到三维模型导入VR内容库;
步骤2、获取真实物体的物理属性,将物理属性对应映射至三维模型,同时生成基于三维模型的属性标签和属性标签集合导入VR内容库;所述物理属性包括颜色、形状和真实物体所处的场景;
步骤3、获取剧本,对剧本进行词义分割后提取词义信息,然后基于词义信息检索三维模型,与三维模型及其属性标签匹配。
2.根据权利要求1中所述的基于视觉建模和词义分析的VR内容库的构建方法,其特征在于,所述步骤一中获取真实物体的图像数据的具体过程为:
相机对真实物体进行多角度拍摄获取多张图像,且于不同角度拍摄时的光圈、快门、ISO以及白平衡参数一致。
3.根据权利要求2中所述的基于视觉建模和词义分析的VR内容库的构建方法,其特征在于,步骤一中根据图像数据建模的具体过程为:
步骤1.1、对图像数据进行不同尺度的高斯模糊和降采样,得到具有m组、每组n层图像的高斯金字塔;
步骤1.2、对高斯金字塔每组图像中相邻两层图像相减得到高斯差分金字塔;
遍历高斯差分金字塔中的像素点检测灰度极值点,将所述灰度极值点作为候选关键点;
计算候选关键点的大小和方向,生成直方图;
以直方图的峰值为主方向旋转坐标轴后,以候选关键点为中心在其尺度图像中选择子区域,绘制子区域8个方向的梯度直方图,沿方向向量排序后得到SIFT特征描述符;
步骤1.3、对不同角度的图像进行SIFT特征描述符比对,计算一张图像中的一个关键点距离另一张图像中所有关键点的欧式距离,得到最近点和次近点,计算关键点与最近点的距离、关键点与次近点的距离两者的比值,若比值小于阈值,将关键点与最近点作为一对匹配点;
步骤1.4、计算至少8对匹配点后,计算基础矩阵F,所述基础矩阵包括相机的内参与外参;
步骤1.5、通过相机内外参数反求出图像点到空间点的投影矩阵,从而计算得出空间坐标,最终获得三维点云,将三维点云三角化最终得到三维模型。
4.根据权利要求1中所述的基于视觉建模和词义分析的VR内容库的构建方法,其特征在于,所述步骤2具体包括:
步骤2.1、获取真实物体的颜色、形状以及所处的场景,同时生成三维模型对应的属性标签S1、S2……SN;
步骤2.2、将真实物体的颜色映射至对应的三维模型中,并记录于三维模型对应的属性标签内;
步骤2.3、将真实物体的形状映射至对应的三维模型中,并记录于三维模型对应的属性标签内;
步骤2.4、将真实物体的所处的场景映射至对应的三维模型中,并记录于三维模型对应的属性标签内;
步骤2.5、将S1、S2……SN导入VR内容库。
5.根据权利要求4中所述的基于视觉建模和词义分析的VR内容库的构建方法,其特征在于,所述步骤3具体包括:
步骤3.1、获取剧本,对剧本内容按句进行分割;
再对句子通过ICTCLAS进行分词、词性标注和过滤停用词的处理;
步骤3.2、抽取剧本中的道具信息,建立道具的数据标签Y1、Y2……YN;
步骤3.2、抽取剧本中的道具颜色信息,并将道具颜色信息记录至所对应的数据标签中;
步骤3.3、抽取剧本中的道具形状信息,并将道具形状信息记录至所对应的数据标签中;
步骤3.4、抽取剧本中的道具场景信息,并将道具场景信息记录至所对应的数据标签中;
步骤3.5、各道具信息的数据集合分别与VR内容库中的三维模型属性标签数据集合逐一进行交集运算,实现剧本与虚拟现实内容的匹配。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京华录新媒信息技术有限公司,未经北京华录新媒信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111636340.X/1.html,转载请声明来源钻瓜专利网。