[发明专利]基于面部表情交互的人际关系行为模式识别方法

说明书

本发明提供一种基于面部表情交互的人际关系行为模式识别方法，首先从给定的视频序列中分离出特定的表情交互序列，并利用动态时间规整算法计算每一表情交互序列的共情度量值，用来构建样本集，然后采用长短期记忆网络模型对采集的双人交互数据进行训练，通过输入表情交互序列，判断双方当前的具体人际关系行为模式，本发明采用长短期记忆网络模型作为训练模型，同时引入共情这一概念，提出对其进行量化的方法，将其量化值融入到模型中，进一步提高了模型的识别准确率。

技术领域

本发明计算机视觉技术领域，具体涉及一种基于面部表情交互的人际关系行为模式识别方法。

背景技术

一直以来，基于视觉的人的行为识别是一个非常活跃的研究领域，在人的行为识别中，人与人交互行为识别是一个重要组成部分。目前，双人交互行为识别的研究在智慧教育、智能安防、视频监控领域中有很大的应用前景，尤其是多种神经网络模型的提出推动了深度学习技术在双人交互行为识别上的应用。但双人交互行为识别方法重点关注人的身体行为(如握手、拥抱、斗殴等)所引起的交互活动，对面部表情引起的交互问题研究的很少。

瑞士IDIAP研究院提出了社交信号处理网络，能够获得大量有关个体的情感、意图及社会关系的社交信息。该研究表明，多种非语言行为都可以作为表达人的情感、意图的社交信号。在人与人之间的互动中，大量的信息不是靠人与人之间的明确交流，而是通过人与人之间说话的方式、面部表情、手势和其他方式。

另一方面，为满足人机交互的需求，表情识别技术经过几十年发展，取得了显著成果。无论是基于静态图片的识别技术以及基于动态视频序列的识别技术，都已经相对成熟。但是，这方面的研究主要是针对个人的表情识别，没有考虑表情交互问题。

同时研究表明人类识别他人感受的能力与一个人的模仿能力有关，并且似乎是基于一种天生的能力，这种能力将一个人看到的另一个身体动作和面部表情与自己产生相应的动作或表情的本体感受相关联，共情即人类识别他人的感受能力。从心理学的角度来看，交互过程实质上是分为两个步骤：第一步，区分他人的情感状态；第二步，在考虑到他人的情感状态下，做出自己的情感反应，也就是感同身受。目前针对如何对交互过程中的共情程度进行量化尚没有一个明确的标准。

发明内容

针对现有技术的不足，本发明提出一种基于面部表情交互的人际关系行为模式识别方法，包括以下步骤：

步骤1：采集n段双人表情交互视频片段，构建长短期记忆神经网络模型的样本集，包括：

步骤1.2：确定每段视频片段的表情交互序列；

步骤1.3：利用动态时间规整算法计算每一表情交互序列的共情度量值；

步骤1.4：确定每段视频对应的人际关系行为模式，并标记为不同的标签；

步骤1.5：将同一段视频片段对应的表情交互序列、共情度量值、人际关系行为模式对应的标签作为一组样本数据；

步骤1.6：统计n段视频片段对应的n组样本数据，构成样本集；

步骤2：采用十折交叉验证技术将样本集划分为训练集和测试集两部分；

步骤3：设置长短期记忆神经网络层的超参数，并构建长短期记忆神经网络模型，所述长短期记忆神经网络模型包括输入层、长短期记忆神经网络层、全连接层、输出层，所述超参数包括长短期记忆神经网络层的单元数目及层数、学习率、学习次数、批量大小；

步骤4：利用训练集训练长短期记忆神经网络模型，得到训练后的模型；

步骤5：利用测试集验证训练后的模型的准确率，将准确率最高的模型作为最优模型；

步骤6：利用最优模型对待识别的双人表情交互视频片段进行人际关系行为模式的识别。

所述步骤1.3包括：