[发明专利]基于多模态预训练模型的主题标签分类方法与装置

权利要求书

1.一种基于多模态预训练模型的主题标签分类方法，其特征在于，所述方法包括：

获取训练数据集，所述训练数据集为基于标签聚类和泛化程度排序得到的主题标签数据；其中，所述主题标签数据采用内容和主题标签匹配的形式，所述内容包括图片信息和文本信息；

基于所述训练数据集对初始多模态预训练模型进行训练，得到训练好的多模态预训练模型；其中，所述初始多模态预训练模型为包括图片侧模型和文本侧模型的双塔模型，所述图片侧模型用于基于所述图片信息得到图片侧的特征向量，所述文本侧模型用于基于所述文本信息进行序列化处理和FFN处理得到文本侧的特征向量；

将所述训练好的多模态预训练模型转化为ONNX模型，并将所述ONNX模型部署到目标应用程序，实现主题标签的分类。

2.根据权利要求1所述的方法，其特征在于，基于所述文本信息进行序列化处理和FFN处理得到文本侧的特征向量的步骤具体包括：

基于所述文本信息进行文本序列化处理，得到初始词向量；

基于所述初始词向量，进行文本分割处理获得多个文本段，且各文本段存在重叠部分；

对所述多个文本段进行并行化处理，得到序列化向量；

将所述序列化向量进行FFN处理，得到文本侧的特征向量。

3.根据权利要求2所述的方法，其特征在于，所述将所述序列化向量进行FFN处理，得到文本侧的特征向量，包括：

将所述序列化向量输入三个FFN结构，获得FFN权重系数；其中，所述三个FFN结构为短文本FFN、长文本FFN和视频字符FFN；

基于所述序列化向量和所述FFN权重系数，得到文本侧的特征向量。

4.根据权利要求1所述的方法，其特征在于，所述图片侧模型为12层ViT模型，所述文本侧模型为12层BERT模型，且所述图片侧模型和所述文本侧模型的各层输入均为上一层所述图片侧的特征向量和所述文本侧的特征向量的融合向量。

5.根据权利要求1所述的方法，其特征在于，基于标签聚类和泛化程度排序得到的主题标签数据的步骤具体包括：

获取数据库的问答内容的话题信息；

采用K-means聚类方法将所述话题信息进行聚类，得到K个主题，且每个主题包括多个话题信息；

基于各主题的多个话题信息的泛化程度，获取主题标签数据。

6.根据权利要求5所述的方法，其特征在于，所述基于各主题的多个话题信息的泛化程度，获取主题标签数据，包括：

基于所述各主题的多个话题信息，获取各话题信息的匹配内容；

计算所述各话题信息的匹配内容的相关程度，并将所述相关程度作为对应话题信息的泛化程度；

若某一匹配内容匹配的话题信息多于一个时，则基于所述匹配的话题信息的泛化程度进行排序，将泛化程度低的话题信息视为所述匹配内容的话题正标签，并去除其他匹配的话题；

基于所述匹配内容的话题正标签，确定所述匹配内容对应的主题，构建包括匹配内容和主题的主题标签数据。

7.根据权利要求6所述的方法，其特征在于，所述基于所述各主题的多个话题信息，获取各话题信息的匹配内容，包括：基于所述各主题的多个话题信息，采用PMI计算和AC自动机从所述数据库的问答内容中为各话题信息匹配多个对应内容作为各话题信息的匹配内容。