[发明专利]基于多模态预训练模型的主题标签分类方法与装置

说明书

本申请提供了一种基于多模态预训练模型的主题标签分类方法与装置，所述方法包括：获取训练数据集，所述训练数据集为基于标签聚类和泛化程度排序得到的主题标签数据；基于所述训练数据集对初始多模态预训练模型进行训练，得到训练好的多模态预训练模型；将所述训练好的多模态预训练模型转化为ONNX模型，并将所述ONNX模型部署到目标应用程序，实现主题标签的分类。通过构建高准确率的训练数据集，并在文本侧进行序列化处理、并行化处理、FFN处理，以及提前进行图片侧的特征向量和文本侧的特征向量的融合，加快模型的训练速度和后续推理速度，提升模型效果；同时，通过ONNX模型实现不同框架下的多模态数据的主题标签分类。

技术领域

本申请涉及计算机应用技术领域，尤其涉及一种基于多模态预训练模型的主题标签分类方法与装置。

背景技术

目前，针对社区中千万级的问答内容，一般会采用生成主题标签的方式来分门别类，生成准确的主题标签在搜索、推荐、商广等场景具有很强的业务价值。而用户的回答内容通常混杂着文本、图片以及视频等数据，在处理过程中结合文本、照片图像等数据有助于信息互补，从而使生成的主题标签更加准确。因此，如何给这些混杂多种模态数据的内容匹配出一组合适的主题标签就成了一个复杂而重要的问题。

现有技术中，多模态数据的计算方法主要有多模态表征学习、多模态对齐、多模态映射以及多模态融合等，例如，采用基于Transfermer编码器和新型跨模态编码器的LXMERT(LearningCross-Modality Encoder Representations from Transformers)模型，学习视觉语言之间的关系，然后利用不同任务，在大规模“图像句子对”数据集进行了模型预训练；采用多模态的双流模型ViLBERT(Vision-and-LanguageBidirectional EncoderRepresentation from Transformers)，分别在各侧处理图像和文本的输入，在后阶段将流通过Co-attentiontransformer层进行交互。但LXMERT和ViLBERT，图像侧采用图像区域化特征提取会增加模型复杂度、降低后续推理速度，且LXMERT和ViLBERT主要是针对英文文本内容，对于中文文本的处理准确度有所差距。此外，ViLBERT引入了Co-attentiontransformer层，对于图像和文本特征处理会增加模态信息的相融，从而降低模型的推理速度。

发明内容

本申请提供一种基于多模态预训练模型的主题标签分类方法与装置，加快多模态预训练模型的训练速度和推理速度，提升模型效果，使模型能够在不同框架下为多模态数据确定合适的主题标签。

第一方面，本申请提供一种基于多模态预训练模型的主题标签分类方法，所述方法包括：

获取训练数据集，所述训练数据集为基于标签聚类和泛化程度排序得到的主题标签数据；其中，所述主题标签数据采用内容和主题标签匹配的形式，所述内容包括图片信息和文本信息；

基于所述训练数据集对初始多模态预训练模型进行训练，得到训练好的多模态预训练模型；其中，所述初始多模态预训练模型为包括图片侧模型和文本侧模型的双塔模型，所述图片侧模型用于基于所述图片信息得到图片侧的特征向量，所述文本侧模型用于基于所述文本信息进行序列化处理和FFN处理得到文本侧的特征向量；

将所述训练好的多模态预训练模型转化为ONNX模型，并将所述ONNX模型部署到目标应用程序，实现主题标签的分类。

根据本申请提供的一种基于多模态预训练模型的主题标签分类方法，基于所述文本信息进行序列化处理和FFN处理得到文本侧的特征向量的步骤具体包括：基于所述文本信息进行文本序列化处理，得到初始词向量；基于所述初始词向量，进行文本分割处理获得多个文本段，且各文本段存在重叠部分；对所述多个文本段进行并行化处理，得到序列化向量；将所述序列化向量进行FFN处理，得到文本侧的特征向量。