[发明专利]基于三维深度卷积生成对抗网络的三维模型修复方法

说明书

本发明公开一种基于三维深度卷积生成对抗网络的三维模型修复方法，其特征在于，包括如下步骤：步骤一、三维模型姿态调整及体素化。步骤二、体素化三维模型放入局部生成对抗网络训练。步骤三、生成器中通过随机噪声生成一个修复区域的初步修复模型。步骤四、合并初步修复模型和待修复模型得到初步修复模型。步骤五、将局部生成对抗网络生成器与全局判别器组合成生成对抗网络。步骤六、初步修复模型放入全局神经网络进行训练，改善融合效果并输出最终修复模型。本三维模型修复算法中局部生和全局生成对抗网络共用一个生成器，使修复区域在保持修复区域的局部细节特征的同时还能够产生非常自然的过渡让修复区域很好地融入整个待修复模型。

技术领域

本发明涉及三维模型体素化、三维深度卷积生成对抗网络、三维模型修复。

背景技术

三维模型作为记录物体信息的一种方式，有着比二维图片更为丰富的立体信息、能多角度的预览等优秀的特性，在计算机上已经得到了非常良好的技术支持，该类数据已经广泛地被应用于3D打印、房地产建模、航天器设计、文物修复、室内设计等。随着软硬件的不断更新使得大家对三维模型的获取越来越便捷化，从前复杂的手工绘制变成了现如今只需使用激光扫描、平板电脑、红外深度传感器等对着三维对象扫描即可，此后三维对象便可以曲面、点云或者体素模型的形式在计算机间进行信息的传递。然而现阶段的三维模型扫描任然受限于现阶段的技术水平，很大部分扫描所得的三维模型依然存在着较为明显的缺陷——模型残缺，这些残缺的部分对后续三维模型研究造成不可逆的影响，因而对三维模型进行修复尤为重要。三维模型修复技术旨在通过对模型的特征分析生成保持原有物体细节特征并且与原模型自然过渡的修复区域，该技术发展至今已经拥有了非常多成熟的方法。

传统的方法旨在通过分析模型点、线、面之间的几何关系并借此推测其修复区域，该类方法大都基于曲面定向和体素的三维模型。基于曲面定向的三维模型修复方法首先需要对三维模型进行孔洞检测，确定孔洞位置之后再对该位置进行修复。最早期的基于曲面定向算法主要插值修复方法，可进行一定程度的修复但过渡十分突兀；而后利用三角剖分构造基曲面并不断迭代添加曲面细节的方法修复了网格, 但是细节特征却很难得到修复；之后又有人提出用动态规划方法重构孔洞区域的连接关系, 引入增广拉格朗日方法求解变分模型对空洞修复，但是当孔洞区域信息缺失过多时难以较好地恢复孔洞区域的细节特征。基于体素的三维模型修复方法通过将三维模型转换为体素化，在体素上进行修补操作。在得到体素模型后，通过扩展有向距离场、构造八叉树重建等值面等手段进行修复的方法得到了发展，但这些方法均导致了修复部分细节特征的丢失。

新的思路，自此图像和三维模型修复进入特征提取时代。卷积神经网络、自编码器、生成对抗网络等深度学习方法，其复杂的网络层次结构大都包含卷积操作，旨在最大化提高算法的特征提取能力，通过长时间的训练使得网络学习获得丰富的细节特征从而生成十分精细的修复区域。合理的参数设置能够使网络产生媲美原有模型细节的修复区域，然而这样产生的修复区域与原始模型拼接时衔接处总是不可避免地出现跳变、凸起，破坏了模型的全局一致性。但若在网络中设置局部和全局两个判别器对补全部分和整体进行判别，便可使补全结果保持细节的同时依旧全局一致。

综上所述，传统通过寻找几何形态之间联系的方法，特征信息的获取十分有限，不能很好地还原细节，而基于深度学习的方法在特征提取能力上已经远胜于传统方法，不仅可以保持局部细节，同时保持全局的一致性即很好的融合过渡效果，因此我们设计了基于三维深度卷积生成对抗网络的三维模型修复方法。

发明内容：

为解决现有三维模型扫描时问题，本发明提出了一种基于三维深度卷积生成对抗网络的三维模型修复方法，发明内容主要包括：三维模型的体素化转换，网络流程及框架设计，深度卷积生成对抗网络结构的三维模型改造，相互嵌套的局部生成对抗网络和全局生成对抗网络的搭建和训练，生成器结果的体素化转换。

一种基于三维深度卷积生成对抗网络的三维模型修复方法，至少包括以下几个步骤：

步骤一、将原始由线条和曲面组成的模型进行姿态统一化调整，其后将模型转化为较高分辨的体素模型，并以(0,1)稀疏矩阵形式进行存储。