[发明专利]一种基于能量优化的大熊猫三维模型重建方法

说明书

本发明提供了一种基于能量优化的大熊猫三维模型重建方法，属于三维重建领域。输入一张大熊猫二维图像；获取大熊猫二维关键点和图像轮廓分割，设置关键点与三维模型顶点的对应关系；利用先验信息大熊猫SMAL模型，通过更新形状和姿态参数来控制大熊猫三维模型的形变；对形变模型进行透视投影获取投影关键点及投影区域，构建总能量优化函数；将能量优化函数最小化，迭代更新形状参数和姿态参数；将参数与SMAL模型结合可以得到最终大熊猫三维重建的结果。本方法利用能量优化的方式结合大熊猫SMAL模型这一先验信息，可直接从二维图像中重建出大熊猫的三维模型，填补了大熊猫三维重建领域的空白。

技术领域

本发明属于三维重建领域，尤其涉及一种基于能量优化的大熊猫三维模型重建方法。

背景技术

三维重建作为计算机视觉领域热门的研究方向，已广泛应用于自动驾驶、数字考古、医学三维成像等领域，近年来，三维重建越来越多的被应用在动物形态学研究中，但由于动物具有非刚性，易形变的特性，导致三维重建难度较大。大熊猫作为中国的国宝，国家一级保护动物，我国在很多地方都开设了大熊猫研究基地用于对大熊猫的研究与保护，但是大熊猫的三维重建目前是相对空白的领域。通过对大熊猫三维重建技术的深入研究，可以真实、完整地反映出大熊猫的空间形态结构，将大熊猫模型以最直观的形式传播展示，还能够将大熊猫体尺测量方式由接触式改为非接触式，降低成本节约资源的同时提高效率，完成包括大熊猫体高、体长、胸围等的测量，更清楚地了解大熊猫的发育状况，比如高矮胖瘦、体重增减、体长增减等，从而进一步分析大熊猫的生活环境和健康状况，最终更好地保护大熊猫物种，提高大熊猫的保护水平。同时，通过快速三维重建和三维展示等，以灵活多样的形式，使人们对大熊猫有更加直观、全面的了解与认识，通过更具有趣味性的交互方式，进一步增强民众的动物保护意识。

目前而言，三维重建的方案可分为主动式和被动式两种：主动式三维重建方式主要包括结构光法和激光扫描法。而其中结构光法的数据获取需要主要投射结构光，当前业界较为出名的结构光产品为以色列的PrimeSense公司的Kinect。虽然它的重建精度较高，可达到毫米级，推理运算速度快。但是主动式三维重建方式往往具有成本高，操作繁琐等问题，并且对于大熊猫这种极为珍贵的动物，采用3D激光扫描等主动式三维重建是较为困难和不切实际的。被动式三维重建方式只使用摄像机采集三维场景得到其投影的二维图像，根据图像信息来实现三维重建。该方式不需要采用较为专业的设备，仅仅使用二维图像便可以对目标物体进行三维重建。在被动式三维重建中，针对目标物体为动物的情况，2017年由Silvia Zuffi等人提出的蒙皮多动物线性模型(Skinned Multi-Animal Linear model，SMAL)将动物三维模型抽象成参数进行表达。SMAL模型是一个参数化的动物三维模型，将形状参数、姿态参数以及平移参数作为输入即可完成三维模型的形变。

目前尚未有人或团队对大熊猫的三维重建进行研究，而在实际的大熊猫科研领域，对大熊猫进行三维重建是十分迫切的需求。大熊猫的常见数据形式为二维图像，同时结合目前动物三维重建的研究现状来看，从图像或者视频帧中学习三维模型是实现动物三维重建中比较简单且效果显著的研究方式。因此采用图像对大熊猫进行三维重建是目前大熊猫三维重建领域的首选方案。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于能量优化的大熊猫三维模型重建方法，结合大熊猫SMAL模型这一先验信息，从二维图像中重建出大熊猫的三维模型，从而填补了大熊猫三维重建领域的空白。

为了达到以上目的，本发明采用的技术方案为：

本方案提供了一种基于能量优化的大熊猫三维模型重建方法，包括以下步骤：

S1、输入大熊猫二维图像以及大熊猫参数化三维模型SMAL；

S2、提取大熊猫二维图像的关键点和轮廓剪影分割图，并设置所述关键点与大熊猫参数化三维模型SMAL顶点的对应关系；