[发明专利]用于识别面部表情的方法和设备

说明书

本申请要求于2016年10月21日提交到韩国知识产权局的第10-2016-0137382号韩国专利申请的权益，该申请的全部公开出于所有目的通过引用包含于此。

技术领域

下面的描述涉及一种用于识别面部表情的方法和设备。

背景技术

面部表情是通过由神经刺激而刺激的面部肌肉的运动形成的。通过处理从输入图像提取的视觉证据的图像来识别面部表情。可基于在输入图像中表现的面部表情来估计面部表情信息。面部表情信息可通过面部肌肉的动作单元(AU)的集合来表现。例如，响应于新的测试图像被输入，面部表情识别设备可搜索面部肌肉形态的位置，指示使用特征描述器恢复位置的面部肌肉形态，并将指示的面部肌肉形态与已被预先定义的AU模型进行比较。

发明内容

提供本发明内容从而以简化的形式介绍将在下面的具体实施方式中被进一步描述的构思的选择。本发明内容不意在标识所要求保护的主题的关键特征或必要特征，也不意在用于帮助确定所要求保护的主题的范围。

在一个总体方面中，提供一种识别用户的面部表情的方法，所述方法包括：从输入图像提取特征，从参考图像提取特征，基于输入图像的特征与参考图像的特征之间的差异，识别面部表情。

所述方法可包括：基于输入图像产生参考图像。

所述方法可包括：使用预先训练的编码器对输入图像进行编码，并通过使用预先训练的解码器对编码的输入图像进行解码，产生参考图像。

编码器和解码器可被预先训练，以减小参考图像和与通过参考图像表现的面部表情相应的目标图像之间的差异。

编码器和解码器可被预先训练，以在阈值内增加输入图像与参考图像之间的差异。

可通过预先训练的提取器来提取输入图像的特征和参考图像的特征。

提取器可被预先训练，以减小输入图像与基于输入图像的特征转换的第一图像之间的差异，并减小基于参考图像的特征转换的第二图像和与通过参考图像表现的面部表情相应的目标图像之间的差异。

提取器可被预先训练，以在阈值内增加第一图像与第二图像之间的差异。

提取器可被预先训练，以在阈值内增加输入图像的特征与参考图像的特征之间的差异。

提取器可共享参数。

从参考图像提取特征的步骤可包括：从第一参考图像提取第一特征，从第二参考图像提取第二特征，并基于输入图像的特征与第一特征之间的差异以及输入图像的特征与第二特征之间的差异，识别用户面部表情。

所述差异可包括：从输入图像提取的特征向量与从参考图像提取的特征向量之间的元素方面差异。

在另一总体方面中，提供一种存储当由处理器执行时使处理器执行所述方法的指令的非暂时性计算机可读存储介质。

在另一总体方面中，提供一种面部表情识别设备，包括：处理器，被配置为：从输入图像提取特征，从参考图像提取特征，并基于输入图像的特征与参考图像的特征之间的差异，识别用户的面部表情。

处理器可被配置为：基于输入图像产生参考图像。

处理器可被配置为：使用预先训练的编码器对输入图像进行编码，并通过使用预先训练的解码器对编码的输入图像进行解码，产生参考图像。

编码器和解码器可被预先训练，以减小参考图像和与通过参考图像表现的面部表情相应的目标图像之间的差异。

编码器和解码器可被预先训练，以在阈值内增加输入图像与参考图像之间的差异。

可通过预先训练的提取器来提取输入图像的特征和参考图像的特征。

提取器可被预先训练，以减小输入图像与基于输入图像的特征转换的第一图像之间的差异，并减小基于参考图像的特征转换的第二图像和与通过参考图像表现的面部表情相应的目标图像之间的差异。

第一图像与第二图像可通过预先训练的转换器被转换，并且转换器可被预先训练，以在阈值内增加第一图像与第二图像之间的差异。

提取器可被预先训练，以在阈值内增加输入图像的特征与参考图像的特征之间的差异。

提取器可共享参数。

参考图像可包括第一参考图像和第二参考图像，并且处理器可被配置为：从第一参考图像提取第一特征，从第二参考图像提取第二特征，并基于输入图像的特征与第一特征之间的差异以及输入图像的特征与第二特征之间的差异，识别用户面部表情。

所述面部表情识别设备可包括：存储器，被配置为存储将由处理器执行的指令。