[发明专利]使用全卷积神经网络分割定格动画中人手部区域的方法

说明书

本发明公开了一种使用全卷积神经网络分割定格动画中人手部区域的方法，包括步骤：1)数据输入；2)使用全卷积网络进行特征提取和初步分割；3)使用条件随机场CRF算法对分割效果进行优化；4)对网络模型进行训练；5)使用完成训练的模型对输入图片进行分割。本发明主要解决的问题是通过自己建立包含人手部区域的图片数据集，构建网络模型，并使用数据集对这个网络模型进行训练。训练完成后，网络模型将能够对人手部区域进行具有较高精确度的分割。本发明具有精确度高、抗噪性好、使用简单、效率高、速度快等优点。

技术领域

本发明涉及计算机图形学和定格动画制作领域，尤其是指一种使用全卷积神经网络分割定格动画中人手部区域的方法。

背景技术

定格动画是通过一张一张动画进行拍摄，然后将这些动画进行播放，使其形成接连不断的动画影片。尽管现在动画生成中更多的利用电脑辅助设计以及3D技术，但是定格动画仍然是动画行业中一个独具一格的分支，至今仍有重要的魅力，在行业中占有一定的分量。定格动画的拍摄方式通常需要某种支撑物对需要拍摄的物体进行支撑，形成各种动作，并在动画的制作后期中再利用不同方法对支撑物进行擦除，对支撑物进行擦除后能够使物体看起来是自己动起来的。支撑物一般是金属骨架或者人的手。利用软件进行擦除对金属骨架有比较好的效果，但是对人的手部效果不够理想。因此，人的手部区域一般是通过人工完成，人工方法效率低下，费时费力。因此，通过研究定格动画生成中的人手部自动分割，能够有效的提高擦除效率，进而能够大大提升动画制作效率，对这种动画制作方式来说具有十分重要的意义。

早期的手部分割研究是基于剪影法(image substraction method)的，这种方法首先采用了一张没有任何物体的背景图，而后再给出同一张背景图，与前一张背景图不同的是，这张图中含有人的手部，此后将这2张图作对比，建立皮肤颜色模型，根据皮肤颜色模型分析，将背景图与手部图在裁剪，进而分割出手部区域。这种分割是分别实现在灰度图，RGB颜色空间的图像以及归一化RGB颜色空间的图像(normalized RGB color space)上的，能够获得比较理想的效果，但是，一旦背景中含有与人的皮肤颜色比较相近的物体时，就容易获得一个比较糟糕的结果。此外，为了建立一个精确的皮肤颜色模型，这种方法需要大量的手部样本图像，而采集大量的手部图像是一件十分耗时耗力的事情。

人类皮肤颜色在颜色空间上是聚集在一个相当小的区域里的，不论是任何人种，都是如此。另外，在一定的光照条件下，皮肤颜色分布可以用一个多元正态分布来描述(在归一化颜色空间下)。基于这些特征，Lew[Y.P.Lew,A.R.Ramli,S.Y.Koay,et al.A handsegmentation scheme using clustering technique in homogeneousbackground.Student Conference on Research and Development.IEEE,2002:305-308]提出了一种聚类技术来建立皮肤颜色模型，这种方法避免了采集大量的样本的方法，对于不同的用户，也能有较好的分割结果。但是这种剪影法仅能在单一或匀质背景下(homogenous background)有较好的结果，对于复杂的背景，例如多个不同物体聚集的背景当中，则效果有所降低，不够理想。

Wang等[W.Wang,J.Pan.Hand segmentation using skin color and backgroundinformation.International Conference on Machine Learning andCybernetics.IEEE,2012:1487-1492]则提出利用背景信息的连贯性来提高手部分割效果的建议。这种方法提供了一个新的研究视角，以往大多数的研究均没有提及背景信息的运用。在人手的一些边界区域中，由于图片的分辨率不同，或多或少都会存在一些非皮肤像素的混入，因此一些非皮肤像素会被容易认为是皮肤像素。而加入背景信息的运用之后，这类错误将能得到大大的减少。此文通过将背景信息逐一分离，将其综合到分离出的手部区域结果上，从而使手部区域分割效果提高。