[发明专利]一种应用于电子商务的用户情绪识别方法及装置

权利要求书

1.一种应用于电子商务的用户情绪识别方法，其特征在于，包括：

云服务器获取用户微表情视频，并对所述微表情视频进行预处理，获取微表情图像序列；

将所述微表情图像序列进行分割，分割为多张微表情子图像，并将所述多张微表情子图像的尺寸大小重设置为所述微表情图像的尺寸大小；

构建局部卷积神经网络L-CNN网络模型和全局卷积神经网络G-CNN网络模型，利用所述L-CNN模型从所述多张微表情子图像中提取局部特征，利用所述G-CNN模型从所述用户微表情图像序列中提取全局特征；

利用softmax分类器将所述提取出的局部特征与全局特征进行分类训练，并获取所述微表情的分类结果，所述分类结果与所述用户的情绪一一对应。

2.根据权利要求1所述的方法，其特征在于，所述L-CNN模型和所述G-CNN模型均为Xception网络结构，则所述利用所述L-CNN模型从所述多张微表情子图像中提取局部特征，利用所述G-CNN模型从所述用户微表情图像序列中提取全局特征，包括：

利用所述L-CNN模型从所述多张微表情子图像中用户眼部及嘴角的局部特征，利用所述G-CNN模型从所述用户微表情图像序列中提取用户整体人脸特征。

3.根据权利要求1所述的方法，其特征在于，所述利用softmax分类器将所述提取出的局部特征与全局特征进行分类训练，包括：

将所述提取出的局部特征与全局特征进行乘法加权至全连接层，并输入至所述softmax分类器。

4.根据权利要求1所述的方法，其特征在于，将所述微表情图像序列进行分割，分割为多张微表情子图像，包括：

将所述微表情图像序列按照随机比例进行分割，或，

将所述微表情图像序列按照局部特征分布情况进行定向分割。

5.根据权利要求4所述的方法，其特征在于，所述将所述微表情图像序列按照随机比例进行分割，包括：

分别以所述微表情图像的四个角为分割原点，随机设置四个分割子图像，且所述四个随机分割子图像的面积之和为所述微表情图像的面积，所述四个分割子图像为矩形或异型图像。

6.根据权利要求4所述的方法，其特征在于，所述将所述微表情图像序列按照局部特征分布情况进行定向分割，包括：

采用LBP-TOP算子提取所述微表情图像的全局特征，并获取所述全局特征在所述微表情图像中的位置分布情况；

按照全局特征分布均衡原则切分所述微表情图像为多个微表情子图像。

7.根据权利要求1所述的方法，其特征在于，对所述微表情视频进行预处理，获取微表情图像序列，包括：

对所述微表情视频进行数据去噪；

将去噪处理后的数据进行面部配准；

采用时间插值TIM算法对所述面部配准后的微表情视频进行处理，获取插值后的微表情图像序列；

通过欧拉视频放大EVM算法对所述微表情图像序列进行动作放大，确定动作放大后的微表情图像序列。

8.根据权利要求7所述的方法，其特征在于，所述采用时间插值TIM算法对所述面部配准后的微表情视频进行处理，获取插值后的微表情图像序列，包括：

将所述微表情视频设置为微表情图；

使用图嵌入算法将所述微表情图嵌入到低维流形中；

在所述低维流形中代入图像向量，计算出高维的连续曲线；

在所述连续曲线上重采样，获取所述插值后的微表情图像序列。

9.根据权利要求7所述的方法，其特征在于，所述通过欧拉视频放大EVM算法对所述微表情图像序列进行动作放大，包括：

使用带通滤波器对所述微表情图像序列进行滤波，获得微表情动作频率，并对该频率的信号进行放大。

10.一种装置，其特征在于，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现权利要求1至9任一项所述的方法。