[发明专利]基于表情识别及脑电融合的观影印象检测方法

说明书

基于表情识别及脑电融合的观影印象检测方法，属于观影印象检测领域。本发明为解决现有技术中无法定量评定用户对广告内容的主观印象以及不利于在大数据层面上分析的问题。本发明检测方法包括如下：采集观影时间段内的观影表情变化视频及脑电信号；根据观影表情变化视频，获得观看过程中的愉悦程度B1和专注程度B2，并将B1与B2的乘积作为表情印象指数m₁；同时还对脑电信号进行傅里叶变化，获得功率谱密度P(w)；再根据P(w)获得各频段的频带能量占比及相关频段的频带能量比，并将其送入支持向量机SVM，获得脑电印象指数m₂；利用DS决策融合算法对表情印象指数m₁和脑电印象指数m₂进行融合，从而获得决策结果m。主要用于对观影印象进行量化。

技术领域

本发明属于观影印象检测领域。

背景技术

视频广告是重要的营销手段，是生产商向用户传递产品信息的主要渠道。从观看者获得对广告的主观印象，能够反映出用户对于广告内容的喜好程度，这对指导生产商改进广告内容，合理选择目标投放人群等营销策略有重要意义。此外，对人的情绪的自动识别对于高级人机交互系统的发展具有重要的意义。在人机交互系统中，如果能够准确且快速地识别出人的情绪，可以针对人的情绪使交互过程更加智能和友好。情绪识别也可以应用于军事领域，帮助指挥官实时了解战士的精神状态。而在驾驶安全领域，对于司机的情绪识别和监测可以防止司机在极端情绪下驾驶造成的安全隐患。

目前调研广告效果常用方法为“直接询问法”和“销量对比法”。这些方法不能用量化指标衡量广告观看者对广告内容的主观印象，也不利于在大数据层面上分析，因此，以上问题亟需解决。

发明内容

本发明目的是为了解决现有技术中无法定量评定用户对广告内容的主观印象以及不利于在大数据层面上分析的问题，提供了一种基于表情识别及脑电融合的观影印象检测方法。

基于表情识别及脑电融合的观影印象检测方法，该方法包括如下过程：

步骤一、采集观影时间段内的观影表情变化视频及脑电信号；

步骤二、根据观影时间段内的观影表情变化视频，获得观看过程中的愉悦程度B1和专注程度B2，并将愉悦程度B1与专注程度B2的乘积作为表情印象指数m₁；

步骤三、对观影时间段内的脑电信号进行傅里叶变化，获得功率谱密度P(w)；再根据功率谱密度P(w)获得各频段的频带能量占比及相关频段的频带能量比；

步骤四、将步骤三获得的各频段的频带能量占比及相关频段的频带能量比送入支持向量机SVM，获得脑电印象指数m₂；

步骤五、利用DS决策融合算法对步骤二获得的表情印象指数m₁和步骤四获得的脑电印象指数m₂进行融合，从而获得决策结果m，并将决策结果m作为观影印象指数。

优选的是，步骤二中愉悦程度B1的实现方式包括：

步骤二一一、通过表情识别模型对观影时间段内的观影表情变化视频中的每帧图像进行特征提取，获得每帧图像所对应的观影表情；所述观影表情包括高兴表情和中性表情；

步骤二一二、再根据每帧图像所对应的观影表情获得整个观影过程的愉悦程度B1。

优选的是，步骤二一二中，再根据每帧图像所对应的观影表情获得整个观影过程的愉悦程度B1的实现方式包括：

首先、根据每帧图像所对应的观影表情，获得整个观影时间段内高兴表情所对应的时长和中性表情所对应的时长；

其次，将整个观影时间段内高兴表情所对应的时长除以整个观影时间段内中性表情所对应的时长的比值结果，作为愉悦程度B1。

优选的是，步骤二中专注程度B2的实现方式包括：