[发明专利]一种融合参数化人体模型的人体点云补全方法及系统

说明书

本发明提供一种融合参数化人体模型的人体点云补全方法及系统，包括：生成人体点云数据集；基于所述人体点云数据集进行人体点云位置预测；基于所述人体点云位置进行人体点云颜色预测。本发明利用点云迁移网络对异构点云的融合优势，利用SMPL人体模型对全局点云的估计能力，实现对单视点人体整体感知提升，在量化指标与可视化指标均有较大提升。

技术领域

本发明涉及点云处理领域，具体地，涉及一种融合参数化人体模型的人体点云补全方法及系统。

背景技术

随着三维获取设备的普及，三维数据获取的日益便捷。三维数据有利于深度学习方式感知缺失的空间几何信息，更利于提取空间中位置和属性特征。三维数据可以表示为由多个形式如体素、点云、网格、占用函数、符号距离函数、神经辐射场等。其中点云由大量的点组成，每个点包含有关其在三维空间中的位置和其他属性的信息。这些点可以在物理世界中由激光扫描仪、摄像机，甚至是手机等设备获取。点云可以看作是一种未经处理的三维数据，其中的每个点都可以看作是一个数据样本，每个样本包含有关该点的各种信息，如坐标、颜色、反射率、光照强度等。点云在许多领域都有广泛的应用，如计算机图形学、计算机视觉、机器人技术、虚拟现实、地图制作、城市规划等。通过对点云数据的处理和分析，可以为下游计算机视觉任务获取更优质的原始数据。使用点云技术探索使用点云处理技术对人体重建的帮助。

人体三维重建技术则是增强现实、混合现实和虚拟现实的重要组成部分之一。由于人体的几何形状受到多方面因素的影响，如姿态、性别、人种、体态以及日常所穿着的衣物存在非刚性变换，因此对于人体数字化需要较为复杂的设备。

由于人体三维重建的复杂性，现有的单视方法多采用图像训练隐式函数方式重建人体表面，但是这样的方式较难直观获取空间中的几何信息。而点云则本身带有补全空间中点云数据位置信息，对于后续的人体重建提供关键的空间几何信息辅助。现有的点云补全方法集中于简单的物体重建，对于人体个体差异、性别、衣物等复杂信息重建有较大挑战，同时现有的研究缺少对于现实人体数据的数据集。因此创建高清现实人体数据集的方式及一种融合参数化人体模型的人体点云补全方法就极为重要。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种融合参数化人体模型的人体点云补全方法及系统。

根据本发明的一个方面，提供一种融合参数化人体模型的人体点云补全方法，包括：

生成人体点云数据集；

基于所述人体点云数据集进行人体点云位置预测；

基于所述人体点云位置进行人体点云颜色预测。

优选地，所述生成人体点云数据集，包括：

通过单视角采样的方式，采集人体前后左右四个方向的人体残缺点云作为部分点云；

对所述部分点云进行渲染，将渲染后的单视图像进行参数化模型预测，得到人体参数化模型点云；

将所述部分点云和所述人体参数化模型点云进行配准：

将所有的点云统一为规则的形式；

优化所述部分点云和所述人体参数化模型点云的相对位姿，不断减小两团点云点到点的距离，直到迭代两团点云的位姿损失达到最小以配准。

优选地，所述基于所述人体点云数据集进行人体点云位置预测，包括：

按照设定比例分别采样所述部分点云和所述人体参数化模型点云；

使用多层抽象层提取特征，使用多层Transformer层加强所述抽象层提取到的特征的点云间位置信息特征；

采用交叉注意力机制和自注意力机制相结合的方式，将所述部分点云和所述人体参数化模型点云融合；