[发明专利]模型建立方法、装置、电子设备、介质及程序产品在审
| 申请号: | 202110287886.2 | 申请日: | 2021-03-17 |
| 公开(公告)号: | CN113298868A | 公开(公告)日: | 2021-08-24 |
| 发明(设计)人: | 贾荣飞;章坚;付欢;蔡博文;李玉洁;于景铭;李永波;赵斌强 | 申请(专利权)人: | 阿里巴巴新加坡控股有限公司 |
| 主分类号: | G06T7/73 | 分类号: | G06T7/73;G06T7/80;G06T15/00;G06T17/00;G06N3/04;G06N3/08 |
| 代理公司: | 北京智信四方知识产权代理有限公司 11519 | 代理人: | 吕雁葭 |
| 地址: | 新加坡珊顿道*** | 国省代码: | 暂无信息 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 模型 建立 方法 装置 电子设备 介质 程序 产品 | ||
1.一种模型建立方法,包括:
获取指定对象的多幅图像;
获取所述多幅图像各自对应的相机内参和外参;
基于所述多幅图像和所述多幅图像各自对应的相机内参和外参,确定所述指定对象的三维模型。
2.根据权利要求1所述的方法,其中:
所述指定对象的多幅图像包括所述指定对象的不同视角的多幅图像;
所述指定对象的多幅图像包含所述三维模型需要展示的部分的图像。
3.根据权利要求1所述的方法,其中,所述基于所述多幅图像和所述多幅图像各自对应的相机内参和外参,确定所述指定对象的三维模型,包括:
根据所述多幅图像各自对应的相机内参和外参,确定所述指定对象所在的空间区域中的第一位置点集合,所述第一位置点集合包括所述多幅图像各自对应的位置点;
使用所述多幅图像和所述多幅图像各自对应的位置点训练神经网络,所述神经网络的输入是位置点的位置信息,所述神经网络的输出是所述位置点对应的物质稠密度信息和颜色信息;
使用训练好的神经网络获取所述指定对象所在的空间区域中的第二位置点集合的物质稠密度信息,基于所述指定对象所在的空间区域中的第二位置点集合的物质稠密度信息,确定所述指定对象的三维模型。
4.根据权利要求3所述的方法,其中,所述根据所述多幅图像各自对应的相机内参和外参,确定所述指定对象所在的空间区域中的第一位置点集合,包括:
根据所述多幅图像和所述多幅图像各自对应的相机外参确定所述指定对象所在的空间区域;
针对每幅图像,根据所述指定对象所在的空间区域和所述图像对应的相机内参和外参,确定所述图像对应的位置点,所述位置点位于经过相应图像对应的相机光心和成像平面的像素的射线上,将所述多幅图像各自对应的位置点的集合作为所述第一位置点集合。
5.根据权利要求3所述的方法,其中,所述使用所述多幅图像和所述第一位置点集合训练神经网络,包括:
使用所述神经网络输出的位置点的物质稠密度信息和颜色信息确定所述多幅图像各自对应的预测图像;
根据所述多幅图像和所述多幅图像各自对应的预测图像确定损失函数;
调整所述神经网络的参数以最小化所述损失函数。
6.根据权利要求3所述的方法,其中,所述基于所述指定对象所在的空间区域中的第二位置点集合的物质稠密度信息,确定所述指定对象的三维模型,包括:
基于所述第二位置点集合中物质稠密度大于预设阈值的位置点确定所述指定对象的三维模型。
7.根据权利要求3所述的方法,还包括:
根据所述指定对象的三维模型在模型坐标系中的设定位姿,确定所述设定位姿的相应指定对象图像对应的相机外参;
根据相机内参、所述设定位姿的相应指定对象图像对应的相机外参和所述指定对象所在的空间区域,确定所述空间区域中的第三位置点集合,所述第三位置点集合中的位置点位于经过所述设定位姿的相应指定对象图像对应的相机光心和成像平面的像素的射线上;
使用所述训练好的神经网络获取所述第三位置点集合的物质稠密度信息和颜色信息;
基于所述第三位置点集合的物质稠密度信息和颜色信息,渲染得到所述指定对象在所述指定场景中的图像。
8.一种模型建立方法,包括:
获取商户输入的指定对象的多幅图像;
获取所述多幅图像各自对应的相机内参和外参;
基于所述多幅图像和所述多幅图像各自对应的相机内参和外参,确定所述指定对象的三维模型。
9.根据权利要求8所述的方法,还包括:
获取商户对所述指定对象在指定场景中的图像执行的操作;
根据所述商户对所述指定对象在指定场景中的图像执行的操作,确定所述指定对象的三维模型在模型坐标系中的设定位姿;
根据相机内参、所述设定位姿的相应指定对象图像对应的相机外参和所述指定对象所在的空间区域,渲染得到所述指定对象在所述指定场景中的图像。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴新加坡控股有限公司,未经阿里巴巴新加坡控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110287886.2/1.html,转载请声明来源钻瓜专利网。





