[发明专利]一种网络信息安全检测方法及装置

摘要

本发明公开了一种网络信息安全检测方法及装置，该方法包括：将场景中的文字进行拼接，将拼接后的文字输入到文字编码器中进行安全检测；对于场景中的图片，通过预训练的单图机器学习分类模型为每张图片提取违反概念的相关特征以及对应的程度；根据违反概念的相关特征以及对应的程度，在所有图片中选择程度最高的一张或几张图片输入到图片编码器中进行安全检测；将文字编码器以及图片编码器的输出层进行拼接，得到多模态融合模型。该系统包括：文字拼接单元、文字编码器、图片特征提取单元、图片编码器以及多模态融合单元。通过本发明，使用多模态机器学习加特征提取的方式，使得学习模型在复杂的多种媒体内容混合场景仍能成功检测。