[发明专利]一种基于编码译码器网络重建人体模型的方法在审
申请号: | 202310210145.3 | 申请日: | 2023-03-07 |
公开(公告)号: | CN116342803A | 公开(公告)日: | 2023-06-27 |
发明(设计)人: | 杨阳;包福兵;杜鹏飞;黄烨;林剑叠 | 申请(专利权)人: | 杭州贝嘟科技有限公司;中国计量大学 |
主分类号: | G06T17/00 | 分类号: | G06T17/00;G06T7/73;G06T9/00;G06F30/20;G06N3/0464;G06N3/08 |
代理公司: | 杭州奥创知识产权代理有限公司 33272 | 代理人: | 王佳健 |
地址: | 310018 浙江省杭州市钱*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 编码 译码器 网络 重建 人体模型 方法 | ||
1.一种基于编码译码器网络重建人体模型的方法,其特征在于,包含如下步骤:
S1、利用人体参数化模型SMPL的随机组合和模拟深度相机,生成一组人体点云数据,随机选择SMPL参数得到不同人体姿势的人体点云数据;
将人体点云数据导入仿真软件,调整软件参数模拟人体数据采集过程中出现异常情况,生成一组包含人体模型的不同姿势及离群值、孔洞、点云错位和姿势问题的人体点云数据集;
S2、设计编码译码器网络;
S2.1、编码器网络将人体模型以点的形式记录,每一个点包含人体的三维向量坐标,将这种三维向量坐标的向量集合即输入的人体点云数据,先进行不断卷积捕获局部特征,然后局部特征经聚合,转化为全局特征向量;
S2.2、译码器网络先由全局特征向量预测粗略的T型姿势,再将粗略的T型姿势作为输入,由训练好的译码器估计人体模型的形状向量参数和姿势向量参数;
S3、将形状向量参数和姿势向量参数输入到SMPL中,得到重建的人体模型。
2.根据权利要求1所述的一种基于编码译码器网络重建人体模型的方法,其特征在于,S2.1中所述编码器网络由两个堆叠的神经网络架构PN层组成,第一个PN层通过两个感知器将输入的人体点云数据进行处理,并获得逐点特征;
所述感知器由使用ReLU激活函数的神经元组成,将得到的逐点特征与输入点云进行点云拼接构成一组特征点云;
第二个PN层使用逐点最大池化算法,将特征点云转化为全局特征向量。
3.根据权利要求2所述的一种基于编码译码器网络重建人体模型的方法,其特征在于,S2.2中所述译码器网络采取一种由粗到细策略的译码器c2f-D组成,c2f-D译码器包含全局形状重建GSR模块和表面重建SR模块;
SR模块是一个子编码译码器网络,用于实现粗糙的T型姿势到精细标准的T型姿势的重建,SR的架构与上述编码器网络结构相同,即将粗略的T型姿势的数据,与全局特征向量结合作为新的特征向量,以预测重建SMPL的形状向量参数和姿势向量参数。
4.根据权利要求3所述的一种基于编码译码器网络重建人体模型的方法,其特征在于,S2.2中还包括,随机组合形成的人体点云数据和精细标准的T型姿势训练译码器,人体姿势由SMPL的形状向量参数和姿态向量参数决定,随机组合SMPL参数模拟各种人体姿势,并将精细标准的T型姿势的人体网格作为训练的基础真实值,形成对任意人体姿势转化为精细标准的T型姿势的训练数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州贝嘟科技有限公司;中国计量大学,未经杭州贝嘟科技有限公司;中国计量大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310210145.3/1.html,转载请声明来源钻瓜专利网。