[发明专利]判定程序、判定装置以及判定方法

说明书

本发明的判定程序使计算机执行获取包含附加了标记的面部的拍摄图像组的处理。判定程序使计算机执行基于拍摄图像所包含的标记的位置来计算第一矢量的处理。判定程序使计算机执行将计算出的第一矢量分割为第二矢量和第三矢量的处理，其中，第二矢量和与标记建立有对应关系的第一动作单元的判定方向相对应，第三矢量和与标记建立有对应关系的第二动作单元的判定方向相对应。判定程序使计算机执行基于第二矢量和第三矢量，来判定第一动作单元的第一产生强度和第二动作单元的第二产生强度的处理。

技术领域

本发明涉及判定技术。

背景技术

在非语言沟通中，表情起着重要的作用。在开发理解人并辅助人的计算机方面，表情估计是必需的技术。为了估计表情，首先必须规定表情的描述方法。作为表情的描述方法，已知有AU(Action Unit：动作单元)。AU是基于面部肌肉的解剖学知识定义的、与表情表露相关的面部上的动作，迄今为止也提出了估计AU的技术。

估计AU的AU估计引擎的代表性的方式以基于大量的训练数据的机器学习为基础，使用面部表情的图像数据和各AU的Occurrence(有无产生)、Intensity(产生强度)作为训练数据。另外，训练数据的Occurrence、Intensity由被称为Coder(编码员)的专家Annotation(注释)。

专利文献1：日本特开2011－237970号公报

非专利文献1：X.Zhang,L.Yin,J.Cohn,S.Canavan,M.Reale,A.Horowitz,P.Liu,and J.M.Girard.BP4D-spontaneous:A high-resolution spontaneous 3d dynamicfacial expression database.Image and Vision Computing,32,2014.1

然而，在以往的方法中，存在有时难以生成用于AU估计的训练数据的问题。例如，在通过编码员进行注释时，由于花费费用以及时间成本，所以难以大量地创建数据。另外，在通过面部图像的图像处理进行面部的各部位的移动测量中，难以正确地捕捉较小的变化，计算机很难不经过人的判断根据面部图像来进行AU的判定。因此，计算机不经过人的判断而生成对面部图像附加了AU的标签的训练数据很困难。

发明内容

在一个方面，目的在于生成用于AU估计的训练数据。

在一个方式中，判定程序使计算机执行获取包含附加了标记的面部的拍摄图像组的处理。判定程序使计算机执行基于拍摄图像所包含的标记的位置来计算第一矢量的处理。判定程序使计算机执行将第一矢量分割为第二矢量和第三矢量的处理，其中，第二矢量和与标记建立有对应关系的第一动作单元的判定方向相对应，第三矢量和与标记建立有对应关系的第二动作单元的判定方向相对应。判定程序使计算机执行基于第二矢量和第三矢量，来判定第一动作单元的第一产生强度和第二动作单元的第二产生强度的处理。

在一个方面，能够生成用于AU估计的训练数据。

附图说明

图1是表示本实施方式所涉及的判定系统的结构例的图。

图2是表示本实施方式所涉及的相机的配置例的图。

图3是表示本实施方式所涉及的标记移动的一个例子的图。

图4是表示本实施方式所涉及的产生强度的判定方法的一个例子的图。

图5是表示本实施方式所涉及的产生强度的判定方法的一个例子的图。

图6是表示本实施方式所涉及的移动矢量相对于规定矢量的一个例子的图。

图7是表示本实施方式所涉及的与一个标记对应的多个AU的规定矢量的一个例子的图。