[发明专利]语言模型预训练方法、装置

权利要求书

1.语言模型预训练方法，其特征在于：包括：

步骤S1.获取基于第一特征初始化的第一词向量，所述第一特征包括图像特征；

步骤S2.获取随机初始化的第二词向量；

步骤S3.基于所述第一词向量与所述第二词向量训练语言模型。

2.根据权利要求1所述的语言模型预训练方法，其特征在于：所述步骤S1之前还包括：

准备文本训练数据，获取其中词语的词性；

基于所述词性筛选出实体词，记为第一词，实体词之外的其他词语记为第二词；获取所述第一词的所述第一特征；

所述步骤S2中随机初始化所述第二词的词向量得到所述第二词向量。

3.根据权利要求2所述的语言模型预训练方法，其特征在于：获取所述文本训练数据中词语的词性包括：采用分词与词性标注工具进行分词和词性标注；

所述分词与词性标注工具包括但不限于LTP、NLPIR或StanfordCoreNLP。

4.根据权利要求2所述的语言模型预训练方法，其特征在于：所述“筛选出实体词”的过程包括：

抽取出所有词性标注结果为名词的词语记为初始词；

预备计算机视觉数据集上完成训练的第一训练模型；

预设数量N，从搜索引擎中抓取的所述初始词的图片搜索结果中选取前N张图片作为所述第一训练数据；

将所述第一训练数据输入所述第一训练模型，计算所述N张图片对应的图像特征向量；

根据所述图像特征向量判断N张图片的相似度，若所述相似度满足预设条件，则所述初始词为所述第一词。

5.根据权利要求4所述的语言模型预训练方法，其特征在于：若所述初始词为所述第一词，所述步骤S1中，计算所述N张图片对应的图像特征向量的平均值作为初始化的第一词向量。

6.根据权利要求4所述的语言模型预训练方法，其特征在于：所述第一训练模型为用于所述图像特征抽取的深度学习模型，包括ResNet模型、VGGNe模型或Inception模型；所述计算机视觉数据集包括ImageNet数据集。

7.根据权利要求4-6任意一项所述的语言模型预训练方法，其特征在于：所述“计算所述N张图片对应的图像特征向量”包括：

将所述第一训练数据输入所述第一训练模型进行深度学习；

预设层数记为M，选取前M层的结果作为所述图像特征向量；

所述M的范围是3至8。

8.根据权利要求4-6任意一项所述的语言模型预训练方法，其特征在于：所述“根据所述图像特征向量判断N张图片的相似度”包括：

计算所述N张图片中每2张图片对应的所述图像特征向量之间夹角的余弦值；

所述“预设条件”是指任意2张图片对应的所述图像特征向量之间夹角的余弦值均大于0.5。

9.根据权利要求1-6任意一项所述的语言模型预训练方法，其特征在于：所述步骤S3中，将所述第一词向量与所述第二词向量输入预设的第二训练模型，得到预训练语言模型；所述第二训练模型是基于注意力机制的Bert类模型。

10.语言模型预训练装置，其特征在于：包括网络通信模块、采集模块、存储模块和处理模块；

所述网络通信模块与互联网通信连接，用于获取互联网数据，所述互联网数据包括搜索引擎中的搜索结果数据；

所述采集模块用于获取多模态数据，所述多模态数据包括图像数据和文本数据；

所述存储模块至少存储有预设的文本训练数据、计算机视觉数据集和若干神经网络深度学习模型；

所述处理模块基于所述互联网数据、所述多模态数据、所述文本训练数据，运行所述若干神经网络深度学习模型，基于权利要求1-9任意一项的语言模型预训练方法训练语言模型。