[发明专利]基于面部表情交互的人际关系行为模式识别方法

权利要求书

1.一种基于面部表情交互的人际关系行为模式识别方法，其特征在于，包括如下步骤：

步骤1：采集n段双人表情交互视频片段，构建长短期记忆神经网络模型的样本集，包括：

步骤1.2：确定每段视频片段的表情交互序列；

步骤1.3：利用动态时间规整算法计算每一表情交互序列的共情度量值；

步骤1.4：确定每段视频对应的人际关系行为模式，并标记为不同的标签；

步骤1.5：将同一段视频片段对应的表情交互序列、共情度量值、人际关系行为模式对应的标签作为一组样本数据；

步骤1.6：统计n段视频片段对应的n组样本数据，构成样本集；

步骤2：采用十折交叉验证技术将样本集划分为训练集和测试集两部分；

步骤3：设置长短期记忆神经网络层的超参数，并构建长短期记忆神经网络模型，所述长短期记忆神经网络模型包括输入层、长短期记忆神经网络层、全连接层、输出层，所述超参数包括长短期记忆神经网络层的单元数目及层数、学习率、学习次数、批量大小；

步骤4：利用训练集训练长短期记忆神经网络模型，得到训练后的模型；

步骤5：利用测试集验证训练后的模型的准确率，将准确率最高的模型作为最优模型；

步骤6：利用最优模型对待识别的双人表情交互视频片段进行人际关系行为模式的识别。

2.根据权利要求1所述的一种基于面部表情交互的人际关系行为模式识别方法，其特征在于，所述步骤1.3包括：

步骤1.3.1：将第q段双人表情交互视频片段平均划分为m个时间序列，定义视频中的人A、人B对应的表情交互序列分别为S_Aq＝{x_A1,x_A2,…,x_At,…,x_Am}、S_Bq＝{x_B1,x_B2,…,x_Bt,…,x_Bm}，t＝1,2,…,m，x_At表示视频中的人A在第t个时间序列内的表情所对应的One-hot编码值，x_Bt表示视频中的人B在第t个时间序列内的表情所对应的One-hot编码值，q＝1,2,…,n；

步骤1.3.2：计算每组样本中人A、人B对应的表情交互序列中的任意两个编码值x_Ai、x_Bj的欧式距离为d(x_Ai,x_Bj)；

步骤1.3.3：令i＝1,2,…,m，j＝1,2,…,m，计算出所有的欧式距离，并构成一个m×m的矩阵D＝(d_i,j)，d_i,j表示矩阵D中第i行、第j列对应的元素d(x_Ai,x_Bj)，即d_i,j＝d(x_Ai,x_Bj)；

步骤1.3.4：利用公式(1)计算得到累计距离值d′_i,j，其中，令d′_0,0＝d′_0,j＝d′_i,0＝0；

d′_i,j＝d_i,j+min{d′_i,j-1,d′_i-1,j,d′_i-1,j-1}                 (1)

步骤1.3.5：令i＝1,2,…,m，j＝1,2,…,m，利用公式(1)迭代计算得到d′_m,m，则累计距离值d′_m,m即为第q段双人表情交互视频片段对应的共情度量值e。

3.根据权利要求1所述的一种基于面部表情交互的人际关系行为模式识别方法，其特征在于，所述人际关系行为模式包括：1)由管理、教育引起对方的尊敬和服从；2)由帮助、同情引起对方的信任和接受；3)由赞同、合作引起对方的协助和友好；4)由尊敬、求助引起对方的帮助；5)由怯懦、服从导致对方的欺侮、控制；6)由反抗、厌倦导致对方的惩罚、拒绝；7)由攻击、责骂导致对方的仇恨和反抗；8)由夸张、拒绝导致对方的不信任、自卑；9)不属于1)～8)中的交互类别，但仍属于可识别出的人际关系行为模式；10)不可识别的人际关系行为模式。