[发明专利]一种基于远程监督的语义匹配模型的生成方法及系统

权利要求书

1.一种基于远程监督的语义匹配模型的生成方法，其特征在于，包括：

步骤S1，获取预设应用场景的若干原始文本数据，并对各所述原始文本数据进行数据增强得到多个增强文本数据，每个所述增强文本数据关联有所述预设应用场景对应的标准语义类别标签；

步骤S2，根据各所述增强文本数据及关联的所述标准语义类别标签对预训练的语言模型进行权重微调得到微调后模型；

步骤S3，根据所述微调后模型对各所述原始文本数据进行句嵌入得到多个语义向量，并对各所述语义向量进行自动标注得到多个语义匹配向量对和对个语义不匹配向量对；

步骤S4，根据各所述语义匹配向量对和各所述语义不匹配向量对训练得到语义匹配模型。

2.根据权利要求1所述的生成方法，其特征在于，所述步骤S1包括：

步骤S11，由所述预设应用场景关联的各业务系统中获取各所述原始文本数据，每个所述原始文本数据关联有对应的所述业务系统中定义的原始语义类别标签；

步骤S12，将各所述原始语义类别标签对应标准化为所述预设应用场景中的所述标准语义类别标签，并将具有相同所述标准语义类别标签的各所述原始文本数据进行数据融合；

步骤S13，根据数据融合后的各所述原始文本数据对每个所述标准语义类别标签进行类别评分得到相应的评分值，并判断所述评分值是否大于预设的评分阈值：

若是，则将对应的所述标准语义类别标签关联的各所述原始文本数据加入高质量数据集合，随后转向步骤S14；

若否，则将对应的所述标准语义类别标签关联的各所述原始文本数据加入低质量数据集合，随后转向步骤S15；

步骤S14，对所述高质量数据集合中的各所述原始文本数据进行词提取，并基于词提取得到的各语义代表词构建得到语义词典；

步骤S15，根据所述语义词典对所述低质量数据集合中的各所述原始文本数据配置所述标准语义类别标签；

步骤S16，对各所述标准语义类别标签关联的各所述原始文本数据进行数据增强得到各所述增强文本数据。

3.根据权利要求2所述的生成方法，其特征在于，所述步骤S13中，根据每个所述标准语义类别中各所述原始文本数据的数据长度和数据量占所有所述原始文本数据的占比进行类别评分得到相应的所述评分值。

4.根据权利要求2所述的生成方法，其特征在于，所述步骤S14包括：

步骤S141，分别对所述高质量数据集合中的各所述原始文本数据进行关键词和主题词提取；

步骤S142，对提取得到的关键词和主题词进行去重处理，并由去重处理后的所述关键词和所述主题词中筛选得到各所述语义代表词。

5.根据权利要求2所述的生成方法，其特征在于，所述步骤S16中，所述数据增强的方式包括：

对各所述标准语义类别标签关联的各所述原始文本数据进行非关键词替换，以将各所述原始文本数据和进行非关键词替换形成的新的文本数据作为所述增强文本数据；和/或

对各所述标准语义类别标签关联的各所述原始文本数据进行选择性随机采样，并将随机采样得到的各所述原始文本数据对应的作为所述标准语义类别标签关联的所述增强文本数据。