[发明专利]基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统

说明书

本发明公开了一种基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统，所述方法包括：将待形状补全的兵马俑点云输入训练好的兵马俑点云形状补全模型，获得形状补全后的兵马俑点云；其中，兵马俑点云形状补全模型的获取方法包括：使用多层感知机对所述训练数据集进行操作,提取获得数据的潜在特征向量；获得不同尺度的特征向量；获得不同尺度的点云，形成多尺度结构；生成密集完整点云；计算所述不同尺度的点云与地面真实点云的距离，计算所述密集完整点云与地面真实点云的距离；将获得的距离按权重相加，得到训练损失。本发明的方法直接在原始点云上进行操作，能够在Shapenet和兵马俑数据集上都产生较完整的、高分辨率的补全结果。

技术领域

本发明属于文物形状修复技术领域，特别涉及一种基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统。

背景技术

三维形状补全是处理真实世界三维测量所面临的一个基本问题，不论传感器的形式如何(如多视图立体声、光传感器的结构、RGB-D相机、激光雷达等)，输出点云都有可能会由于视角有限、测量不可靠(因为材料特性或无纹理区域)等问题出现缺失。

现有的三维形状补全方法大致可以分为基于几何的、基于对齐的和基于学习的方法。

基于几何的方法在不需要任何外部数据的情况下，利用局部输入的几何线索来逼近完整的形状；这类方法假设输入是较为完整的，其中丢失区域的几何结构可以直接从观测区域中提取出来，但是这种假设并不适用于现实世界中大多数不完整的数据。

基于对齐的方法通过将部分输入与来自大型形状数据库的模板模型匹配来补全形状，但这些方法需要在推理期间进行昂贵的优化，这使得它们不适用于在线应用程序，且对噪音也很敏感。

基于学习的方法是通过一个参数化的模型(通常是一个深度神经网络)来补全形状，该模型直接将部分输入映射到一个完整的形状，从而提供快速的推理和更好的泛化。有些方法是基于体素进行形状补全的，然而基于体素的技术在分辨率上受到限制，因为网络复杂度和所需计算量会随着分辨率的增加而指数增加。有些方法是基于GAN网络进行形状补全的，为了避免GAN不稳定且难以训练的问题，在潜在特征向量上训练GAN网络，同时为了减少迭代次数使用强化学习代理为GAN选择最好的种子来生成完整的模型，虽然强化学习代理的使用节省了时间，但是其也给补全过程增加了损耗，使得其训练效果与真实对照点云之间存在差距，且其补全结果分辨率较低。有些方法不利用任何关于底层形状的结构描述或注释，直接在原始点云上进行操作，能够在保持少量参数的同时，生成较高分辨率的补全。

由于兵马俑数据集的特殊性，以上现有方法均不能产生较好的、高分辨率的补全效果。

发明内容

本发明的目的在于提供一种基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统，以解决上述存在的一个或多个技术问题。本发明提出的多尺度生成结构和基于折叠的解码器相结合的方法，直接在原始点云上进行操作，能够在Shapenet和兵马俑数据集上都产生较完整的、高分辨率的补全结果。

为达到上述目的，本发明采用以下技术方案：

本发明的一种基于多尺度和折叠结构的兵马俑点云的形状补全方法，包括以下步骤：

将待形状补全的兵马俑点云输入训练好的兵马俑点云形状补全模型，获得形状补全后的兵马俑点云；

其中，所述训练好的兵马俑点云形状补全模型的获取方法包括以下步骤：

基于预获取的兵马俑数据集，获得训练数据集；

使用多层感知机对所述训练数据集进行操作,提取获得数据的潜在特征向量；

基于获得的所述潜在特征向量，获得不同尺度的特征向量；

基于所述不同尺度的特征向量，获得不同尺度的点云，形成多尺度结构；