[发明专利]基于脑电信号和记忆特性的图像质量评价方法

权利要求书

1.一种基于脑电信号和记忆特性的图像质量评价方法，其特征在于，利用彩色图像的记忆性特征值，生成记忆性强弱不同的彩色失真图像，将采集的受试者在观看记忆性强弱不同的彩色失真图像时的脑电信号，构建并训练深度卷积神经网络；该评价方法的步骤包括如下：

步骤1，获取每张彩色图像的可记忆特征值：

步骤1.1，收集X张待识别的目标彩色图像，其中X/2张彩色图像为自然图像，另外的X/2张为人物图像；从包含自然图像的数据库中选取Y/2张自然图像和从包含人物图像的数据库中Y/2张人物图像作为Y张填充彩色图像；其中200≤X,11*X≤Y；

步骤1.2，将从目标彩色图像中随机选取x张未选过的目标彩色图像，以及从填充彩色图像中随机选取y张未选过的填充彩色图像组成图像集；在图像集中随机选取1张未选过的目标彩色图像，在该目标彩色图像的相邻位置穿插11张从图像集中随机选取的填充彩色图像，获得该目标彩色图像的图像序列，以此类推，获得该图像集的x个图像序列；以该构造图像集的方式，获得目标彩色图像的z个图像集；其中10≤x,11*x≤y，

步骤1.3，将所有图像集中所有图像序列，对a位受试者循环播放，当图像序列重复出现时，受试者按下空格键进行反馈，利用Eprime软件记录受试者的反馈信息；计算每位受试者识别出同一图像序列重复出现的反馈次数，再计算a位受试者对该图像序列反馈次数的平均值，将该平均值作为该图像序列对应的目标彩色图像的可记忆特征值；以此类推，获得每个目标彩色图像的可记忆特征值；其中，10≤a≤50；

步骤2，生成记忆性强弱不同的彩色失真图像：

从所有目标彩色图像中获取强记忆性图像集；从所有目标彩色图像中获取弱记忆性图像集；设置图像失真等级，以失真等级分别对强记忆性图像集和弱记忆性图像集中每个图像进行失真处理，得到强记忆性失真图像集和弱记忆性失真图像集；

步骤3，采集受试者在观看记忆性强弱不同的彩色失真图像时的脑电信号：

将失真图像集中的所有失真图像提供给与步骤1中不同的受试者观看，每位受试者重复观看失真图像；用脑电采集设备采集每位受试者每次观看失真图像时的脑电信号，获得带有受试者标签、次数标签和失真等级标签和记忆性标签的脑电信号集；

步骤4，截取每位受试者在感知到图像失真时的脑电信号片段：

将脑电信号集中的所有脑电信号输入带通滤波器后得到滤波后的脑电信号集；对每个滤波后的脑电信号截取脑电信号片段，获得具有受试者标签、次数标签、失真等级标签和记忆性标签脑电信号片段集；

步骤5，利用脑电信号片段生成训练集：

将脑电信号片段集合中部分样本作为训练数据集，将剩余的脑电信号片段作为测试数据集；根据脑电信号对应的图像的记忆性标签和失真标签，对训练数据集和测试数据集中的脑电信号片段标注标签，将训练集分为强记忆性失真训练集、强记忆性未失真训练集、弱记忆性失真训练集和弱记忆性未失真训练集四类；训练集中每个输入深度神经网络的脑电信号片段对应每个深度神经网络的输出；

步骤6，构建深度卷积神经网络：

构建一个由3个模块依次串联组成的卷积神经网络；

步骤6.1，搭建第1个模块的结构依次为：时域卷积层，空域卷积层，最大池化层，ReLU激活层，Dropout层；

设置第1个模块的各层参数：

将时域卷积层中滤波器的总数设置为25，卷积核大小设置为1×10，步长设置为3，卷积层的填充设置为0×16，卷积层的偏置设置为否；

将空域卷积层的滤波器的总数设置为25，卷积核大小设置为64×1，步长设置为3，卷积层的填充设置为0×16，卷积层的偏置设置为否；

将最大池化层的尺寸设置为1×3；

ReLU激活层采用ReLU实现，其inplace参数设置为true；

Dropout层采用Dropout实现，其drop_rate参数设置为0.05；

步骤6.2，搭建第2个模块的结构依次为：卷积层，最大池化层，卷积层，最大池化层，卷积层，最大池化层，ReLU激活层，Dropout层；

设置第2个模块各层参数：

将第一层卷积层滤波器的总数设置为50，卷积核大小设置为25×10，步长设置为3，卷积层的填充设置为0×8，卷积层的偏置设置为否；

将第一层最大池化层的尺寸设置为1×3；

将第二层卷积层滤波器的总数设置为100，卷积核大小设置为50×10，步长设置为3，卷积层的填充设置为0×8，卷积层的偏置设置为否；

将第二层最大池化层的尺寸设置为1×2；

将第三层卷积层滤波器的总数设置为200，卷积核大小设置为100×10，步长设置为3，卷积层的填充设置为0×8，卷积层的偏置设置为否；

将第三层最大池化层的尺寸设置为1×3；

ReLU激活层采用ReLU函数实现，其inplace参数设置为true；

Dropout层采用Dropout实现，其drop_rate参数设置为0.01；

步骤6.3，搭建一个由全连接层和SoftMax激活层串联组成的第3个模块，将全连接层的神经元的总数设置为2；SoftMax激活层采用SoftMax函数实现，其inplace参数设置为true；

步骤7，训练深度卷积神经网络：

对深度卷积神经网络的参数初始化后，将训练集输入到深度卷积神经网络中，利用反向传播方法，对卷积神经网络的参数进行迭代更新，直至交叉熵损失函数收敛为止，得到训练好的深度卷积神经网络；

步骤8，采用训练好的网络对强记忆性图像和弱记忆性图像进行质量评价：

根据记忆性标签将测试集中脑电信号片段分为强记忆性测试集和弱记忆性测试集，将强记忆性测试集和弱记忆性测试集分别输入到训练好的深度卷积神经网络中，计算深度卷积神经网络对强记忆性测试集和弱记忆性测试集中脑电信号片段分类准确率，将该分类结果作为强记忆性图像和弱记忆性图像质量评价结果。