[发明专利]基于多域视觉特征的新闻图像检测方法及系统、装置

权利要求书

1.一种基于多域视觉特征的新闻图像检测方法，其特征在于，包括：

提取新闻图像在各频域上的频域向量，获取该频域向量在对应频域上的频域特征，并将该频域特征拼接为该新闻图像的物理视觉特征；

获取该新闻图像在各语义上的语义特征，将该语义特征的正向GRU特征序列和反向GRU特征序列，拼接为该新闻图像的语义视觉特征；

将该物理视觉特征和该语义视觉特征进行融合及逻辑回归分类，以获取该新闻图像为虚假新闻图像类别的预测概率。

2.如权利要求1所述的新闻图像检测方法，其特征在于，获取该物理视觉特征的过程具体包括：

以卷积神经网络构建频域网络；

对该新闻图像进行离散余弦变换处理，以获得该新闻图像对应64个频域上对应的DCT系数直方图；

对所有该DCT系数直方图进行一维傅里叶变换并采样，获得64个250维的频域向量{h₀,h₁,……,h₆₃}；

通过该频域网络获得频域向量{h₀,h₁,……,h₆₃}对应的频域特征{w₀,w₁,……,w₆₃}；

将频域特征{w₀,w₁,……,w₆₃}拼接为该物理视觉特征{l₀}。

3.如权利要求2所述的新闻图像检测方法，其特征在于，获取该语义视觉特征的过程具体包括：

以卷积神经网络和循环神经网络构建像素域网络；

通过该像素域网络对该新闻图像进行由局部语义到全局语义表示的逐层抽象的特征提取，以获得语义特征{v₁,v₂,v₃,v₄}，其中，v₁为该新闻图像的线条特征，v₂为该新闻图像的颜色特征，v₃为该新闻图像的纹理特征，v₄为该新闻图像的物体特征；

以GRU网络获取语义特征{v₁,v₂,v₃,v₄}的正向GRU特征序列和反向GRU特征序列其中，t∈[1，4]；

将和拼接为该语义视觉特征{l₁,l₂,l₃,l₄}，其中，t∈[1,4]，l₁为线条视觉特征，l₂为颜色特视觉特征，l₃为纹理视觉特征，l₄为物体视觉特征。

4.如权利要求3所述的新闻图像检测方法，其特征在于，获取该预测概率的过程具体包括：

通过注意力机制对该物理视觉特征{l₀}和该语义视觉特征{l₁,l₂,l₃,l₄}进行特征价值增强，并融合为该新闻图像的特征向量表示u；其中，i∈[0,4]，α_i为l_i的归一化权重；

通过具有Softmax激活的全连接层将特征向量表示u投影到两类目标空间，并获取该预测概率p，其中，该两类目标空间包括虚假新闻图像类别和真实新闻图像类别。

5.一种基于多域视觉特征的新闻图像检测系统，其特征在于，包括：

频域特征提取模块，用于提取新闻图像在各频域上的频域向量，获取该频域向量在对应频域上的频域特征，并将该频域特征拼接为该新闻图像的物理视觉特征；

像素域特征提取模块，用于获取该新闻图像在各语义上的语义特征，将该语义特征的正向GRU特征序列和反向GRU特征序列，拼接为该新闻图像的语义视觉特征；

融合预测模块，用于将该物理视觉特征和该语义视觉特征进行融合及逻辑回归分类，以获取该新闻图像为虚假新闻图像类别的预测概率。