[发明专利]一种无监督的实时面部表情捕捉方法

说明书

技术领域

本发明属于计算机视觉技术领域，具体地说是一种无监督的实时面部表情捕捉方法。

背景技术

实时面部表情捕捉技术是计算机视觉领域的热点问题之一。该问题的解决方法通常是从面部提取关键特征点，然后建立特征点和表情语义信息之间的关联，前一步称为特征点提取，后一步称为表情映射。Thibaut Weise等人在文章Realtime Performance-Based Facial Animation中，通过采集用户的特殊表情，建立精确的表情先验，然后根据面部特征点和表情先验完成表情映射。后续方法基本均延续此技术路线，然而这种依赖于监督式训练的方法具有以下缺点：（1）训练工作需要用户配合进行，不但花费时间，而且训练质量难以把控；（2）训练需要采集不同的表情，过程繁琐，对于用户来说不便使用。

为解决此问题，本发明提出了一种无监督的实时面部表情捕捉方法，该方法不依赖于上述训练过程，可在捕捉过程中自发的学习用户表情信息，从而使系统具备较强的普适性和易用性。

发明内容

本发明的目的是解决现有的实时面部表情捕捉算法依赖于监督式的训练，从而导致系统的普适性和易用性较差的问题。

本发明提出了一种无监督的实时面部表情捕捉方法，该方法可以在实时捕捉的过程中自发学习用户的表情，不需要任何人工干预。本发明的方法首先从面部特征点中提取与FACS表情单元相对应的几何特征，然后将几何特征加入几何特征样本集。样本集进行样本分布分析，从而计算出各个表情单元的变化区间。根据当前样本及表情单元变化区间，可以计算出表情单元系数。这一过程在完全无监督的条件下进行。

与现有技术相比，本发明的有益效果是：算法无需用户相关的表情采集训练，因此基于本发明算法的系统具备较强的普适性和易用性。

附图说明

图1为本发明的算法的整体流程图；

图2为本发明的算法所用的表情表示方法示意图；

图3为面部关键特征点和几何特征示意图；

图4为表情单元的变化区间；

图5为最近邻样本合并算法的伪代码；

图6为几何特征样本的值及表情单元变化区间的节点。

具体实施方式

本发明具体的说是一种无监督的实时面部表情捕捉的方法。

本发明使用的表情表示方法为Blendshape，对于某个用户，其任意表情可以表示为该用户的自然表情加上一系列表情基的线性组合，如图2所示。表情基是带有特定语义的表情单元，如张嘴、抬眉毛等，本发明使用FACS定义的表情单元作为表情基。由于表情基的精确数值与具体用户相关，因此现有的表情捕捉方法几乎都需要对特定用户做表情采集从而获知该组表情基，这就造成系统普适性较低且不易使用。

本发明所用的算法不依赖于对特定用户做表情采集，因此系统具备较强的普适性和易用性。具体来说，所述的算法分为以下几个步骤：

（1）从面部关键特征点中提取与FACS表情单元相对应的几何特征，图3所示为面部特征点及一些重要的几何特征。几何特征是可以代表表情单元的几何度量值，如嘴巴宽度、嘴巴高度、眉眼间距、双眼内眼角间距等。这些特征中，有些为恒定量，如双眼内眼角间距，有些则随着表情的变化而改变，如嘴巴宽度、嘴巴高度等。为防止误差带来的绝对数值的缩放，需要对几何特征进行归一化，具体的做法是用各个特征的值除以双眼内眼角间距，相除的结果作为最终的几何特征值，所有的几何特征值共同构成一个几何特征样本，该样本能够代表多个表情单元组合出的表情。

（2）按照一定策略将几何特征加入几何特征样本集。被加入样本集的样本带有一个权重属性，该属性用来标识这个样本在样本集中的影响因子。样本的权重大小与潜在误差成负相关的关系。权重最大为1，最小为0。若样本权重过低，则说明潜在误差过大，此时样本集须丢弃这类不可靠样本。对于可靠样本，本发明算法假定误差为高斯误差，真实样本服从以观测值为期望，以某一与权重相关的值为方差的高斯分布：

s_v,ω～N(μ，σ²)    (3)

其中，sv,ω衷示观测值为v，权重为ω的样本的真实值，μ=v，σ＝-1nω。为了补全因误差缺失的信月，需要从该样本观测值的左右两侧各取一个补偿样本，使其权重为(1-ω)/2，然后将补偿样本一起加入到样本集。设补偿样本的值为V'，则有: