[发明专利]一种在联合条件下进行群体着装解析的方法

说明书

本发明实施例公开了一种在联合条件下进行群体着装解析的方法。其中，该方法包括：获取原始图片，采用粗分割网络对原始图片进行初步的着装解析处理，获得粗略的分割结果图片；将原始图片使用群体姿势估计网络，获取图片中前景人物的姿势骨架，生成姿势估计热度图；将粗略的分割结果图片及姿势估计热度图同时进行深度卷积处理，获得精细化的服装分割结果及姿势估计结果。实施本发明实施例，不仅能够处理单人简单场景，更能够解决群体的、复杂场景下的着装解析问题，扩展了着装解析的应用场景。

技术领域

本发明涉及机器视觉、着装解析技术领域，尤其涉及一种在联合条件下 进行群体着装解析的方法。

背景技术

着装解析能够将图片中的所有着装部件以像素级的精度标注出来，它 不仅能够有效地提高着装推荐和检索的精度和方便性，也有助于虚拟试衣 等一系列基于着装解析的问题的研究。但是目前大多数着装解析方法都是 针对单人场景，它们限制了服饰的种类和数量，忽视了群体中不同人之间的 着装搭配关系，且存在着颜色相近着装识别难、衣物边缘处理差等问题。于 是我们想到了去设计一个针对群体场景的着装解析方法。群体场景下的时 装图片含有更多的信息，如服装相对位置、颜色搭配、遮挡影响等等。如果 能够正确地利用这些信息，群体着装解析不仅能处理好群体场景，甚至能提 升单人着装解析的精度。除此之外，群体着装解析能够同时处理群体和单人 的时装图片，自然地也就有着比单人着装解析更广的应用范围，如社交场合 分析、群体服饰搭配分析以及联合服饰检索等。

常见的服装解析方法可以分为一下三类：基于概率图模型的方法、基 于条件随机场的方法以及基于深度神经网络的方法。基于概率图模型的方 法应用场景比较局限，一般只能用于分割单一服装或者单一人物。基于条 件随机场的方法可以分割多种服装，并且考虑到了姿势的影响，具有一定 的可解释性。但是其鲁棒性不够高，在先验信息出错的情况下，效果较 差。基于深度神经网络的方法，准确率高、鲁棒性好，可以处理群体场 景，但是无法在数据量小的时候发挥最大作用。

基于概率图模型的方法主要有两个分支：基于图割的服装解析方法， 以及基于与或图的着装解析方法。图割算法最开始被用于图像的前背景分 割，近几年开始有研究人员将其应用在着装解析领域。图割算法需要一定 的背景信息来建立背景的概率分布模型(如混合高斯模型)，从而判断每 个像素属于前背景的概率，进而得到前背景分割的结果。使用图割算法进 行着装解析即需要给定非服装区域的信息，建立对应的非服装像素的概率 分布模型，从而完成服装、非服装区域的识别。基于图割的着装解析方法 一般先进行人脸识别，根据人脸跟身体的关系，取得上半身区域。将上半 身区域的像素看作背景，放入混合高斯模型中进行训练，即可完成上半身 服装的解析。基于与或图的方法首先产生一组“解析块”，然后通过与或 图对“解析块”进行分类、组合及筛选，最终产生分割结果。

基于条件随机场的方法可以处理多标签着装解析问题，并且具有良好 的扩展性，可以简单地加入姿势估计、超像素分块、边缘分布等先验信 息，使得方法具有良好的可解释性。有人将形状模型、颜色模型加入到了 先验概率公式当中。另外也出现了第一次提出了利用姿势估计来进行全身 着装解析，得到了更精确的结果。后来有些人对条件随机场模型进行了改 进，在能量函数中加入了更多的先验项，如形状特征、“解析块”、姿势 估计、前景背景信息、相似性等。也有人尝试了对场景更加复杂的图片的 着装解析，包括背景颜色复杂、含有多个目标的情况，虽然模型与利用姿 势估计来进行全身着装解析的方法类似，但是训练的数据集是非受限的图 片，即场景复杂、色彩鲜艳、姿势不完整的图片，这是第一个在复杂场景 下的着装解析研究。提出利用姿势估计来进行全身着装解析方法的发明人还尝试了借助相似图片来进行着装解析，他们设计了三个解析器来产生解 析结果，其中一个解析器只使用目标图片本身的特征进行分割，另外两个 解析器利用目标图片与检索出的相似图片进行联合分割。另外还有提出解 决只使用图片级的标签完成着装解析的问题。还有些人同时使用了联合解 析(co-parsing)的方法对图片进行着装解析，前者在视频帧之间建立了 一个马尔科夫链模型；而后者在数据库中的全部图片之间建立了概率图模型。