[发明专利]一种融合参数化人体模型的人体点云补全方法及系统

权利要求书

1.一种融合参数化人体模型的人体点云补全方法，其特征在于，包括：

生成人体点云数据集；

基于所述人体点云数据集进行人体点云位置预测；

基于所述人体点云位置进行人体点云颜色预测。

2.根据权利要求1所述的一种融合参数化人体模型的人体点云补全方法，其特征在于，所述生成人体点云数据集，包括：

通过单视角采样的方式，采集人体前后左右四个方向的人体残缺点云作为部分点云；

对所述部分点云数据进行渲染，将渲染后的单视图像进行参数化模型预测，得到人体参数化模型点云；

将所述部分点云和所述人体参数化模型点云进行配准：

将所有的点云统一为规则的形式；

优化所述部分点云和所述人体参数化模型点云的相对位姿，不断减小两团点云点到点的距离，直到迭代两团点云的位姿损失达到最小以配准。

3.根据权利要求2所述的一种融合参数化人体模型的人体点云补全方法，其特征在于，所述基于所述人体点云数据集进行人体点云位置预测，包括：

按照设定比例分别采样所述部分点云和所述人体参数化模型点云；

使用多层抽象层提取特征，使用多层Transformer层加强所述抽象层提取到的特征的点云间位置信息特征；

采用交叉注意力机制和自注意力机制相结合的方式，将所述部分点云和所述人体参数化模型点云融合；

对融合后的点云，利用距离进行特征插值采样，进行特征扩散；

对扩散后的特征进行被选择性地记忆或遗忘，完成循环路径聚合，获得预测点位置。

4.根据权利要求3所述的一种融合参数化人体模型的人体点云补全方法，其特征在于，所述使用多层抽象层提取特征，使用多层Transformer层加强所述抽象层提取到的特征的点云间位置信息特征，包括：

预设一个搜索半径radius和子区域的点数量k；

从采样的所述部分点云和所述人体参数化模型点云中获取簇中心并构造球体，所述球体的半径等于搜索半径radius；

计算搜索半径内获取的全部点云的每个点离中心簇的距离，若该点落在球体内，则将其加入所述中心簇中，若球体内的点小于子区域点数量k，则复制离该点最近的点，直到k个点，若大于，则选取距离中心簇最近的前k个点；

将所述中心簇中的点输入到Transformer层扩大感受野，增强点云间特征。

5.根据权利要求3所述的一种融合参数化人体模型的人体点云补全方法，其特征在于，所述采用交叉注意力机制和自注意力机制相结合的方式，将所述部分点云和所述人体参数化模型点云融合，包括：

投影点云特征形成查询张量；

投影点云特征形成关键张量和值张量；

注意机制根据两种模态相互关联确定的权重将不同点云区域的特征进行聚合，公式为：

Q_X＝H_XW_Q,K_I＝H_IW_K,V_I＝H_IW_V

其中W_Q、W_K、W_V为投影权重值；H_fused为融合特征；H_I、H_X为SMPL参数化人体模型点云和部分点云特征。

6.根据权利要求3所述的一种融合参数化人体模型的人体点云补全方法，其特征在于，所述对融合后的点云，利用距离进行特征插值采样，进行特征扩散，包括：

利用特征低维层和特征高维层的坐标计算任意两个点之间的距离，计算得到一个距离矩阵，表示为特征低维层中的每个点与特征高维层中的每个点的距离；

将距离矩阵进行排序，找到特征高维层中与特征低维层中距离最近的三个点，并记录它们的值和索引，标记为dist和idx；

按照所述索引idx，在特征高维层的特征中进行查询根据层级设置的N个附近点；

按所述距离矩阵，对所述N个附近点进行双线性插值，改变特征的值。