[发明专利]关联性预测模型训练方法和装置、摘要生成方法和装置

说明书

本公开提供一种关联性预测模型训练方法和装置、摘要生成方法和装置。关联性预测模型训练方法包括：提取第一语句样本的第一语义特征向量，以及第二语句样本的第二语义特征向量；生成训练样本，其中所述训练样本包括所述第一语义特征向量和所述第二语义特征向量，以及预设的所述第一语句样本和所述第二语句样本的语义关联性标注；将训练样本输入机器学习模型，以得到第一语句样本和第二语句样本的语义关联性预测结果；根据语义关联性标注和语义关联性预测结果确定损失函数；利用损失函数对机器学习模型进行训练，以得到关联性预测模型。

技术领域

本公开涉及信息处理领域，特别涉及一种关联性预测模型训练方法和装置、摘要生成方法和装置。

背景技术

目前的摘要生成方法主要是从文本中抽取中重要的句子以作为该文本的摘要。

发明内容

发明人通过研究发现，现有的摘要生成方法并不会考虑抽取出的句子的语义是否完整。例如，一个文本包括“某公司年收入超百亿，超过业界水平。但是利润只有几百万。”，如果摘要只抽取了第二句“但是利润只有几百万。”，则第一句“某公司年收入超百亿，超过业界水平。”的语义丢失会造成摘要的语义不完整，从而降低了摘要的质量。

据此，本公开提供一种摘要生成方案，能够有效保证摘要的语义完整性。

根据本公开实施例的第一方面，提供一种关联性预测模型训练方法，包括：提取第一语句样本的第一语义特征向量，以及第二语句样本的第二语义特征向量；生成训练样本，其中所述训练样本包括所述第一语义特征向量和所述第二语义特征向量，以及预设的所述第一语句样本和所述第二语句样本的语义关联性标注；将所述训练样本输入机器学习模型，以得到所述第一语句样本和所述第二语句样本的语义关联性预测结果；根据所述语义关联性标注和所述语义关联性预测结果确定损失函数；利用所述损失函数对所述机器学习模型进行训练，以得到所述关联性预测模型。

在一些实施例中，所述训练样本还包括分隔符，所述分隔符设置在所述第一语义特征向量和所述第二语义特征向量之间。

在一些实施例中，所述机器学习模型为基于转换器的双向编码表征BERT模型。

根据本公开实施例的第二方面，提供一种关联性预测模型训练装置，包括：第一处理模块，被配置为提取第一语句样本的第一语义特征向量，以及第二语句样本的第二语义特征向量，生成训练样本，其中所述训练样本包括所述第一语义特征向量和所述第二语义特征向量，以及预设的所述第一语句样本和所述第二语句样本的语义关联性标注；第二处理模块，被配置为将所述训练样本输入机器学习模型，以得到所述第一语句样本和所述第二语句样本的语义关联性预测结果，根据所述语义关联性标注和所述语义关联性预测结果确定损失函数，利用所述损失函数对所述机器学习模型进行训练，以得到关联性预测模型。

在一些实施例中，所述训练样本还包括分隔符，所述分隔符设置在所述第一语义特征向量和所述第二语义特征向量之间。

在一些实施例中，所述机器学习模型为基于转换器的双向编码表征BERT模型。

根据本公开实施例的第三方面，提供一种关联性预测模型训练装置，包括：存储器，被配置为存储指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例所述的方法。

根据本公开实施例的第四方面，提供一种摘要生成方法，包括：提取目标文本中的全部语句；按照各语句在所述目标文本中的先后顺序，将所有相邻两个语句的语义特征向量输入关联性预测模型，以获得所有相邻两个语句的语义关联性预测结果，其中所述关联性预测模型通过上述任一实施例所述的训练方法得到；将所有语义关联性预测结果大于预设门限的相邻两个语句作为候选摘要；计算所有候选摘要中的每个语句在所述目标文本中的权重值；根据每个候选摘要中包括的全部语句的权重值确定所述每个候选摘要的权重值；将具有最大权重值的候选摘要作为所述目标文本的摘要。