[发明专利]语句分析模型的训练方法及装置、语句分析方法及装置

说明书

本申请提供语句分析模型的训练方法及装置、语句分析方法及装置，其中，所述训练方法包括：获取多个样本语句对和每一个样本语句对的语句关系标签；将样本语句对进行分词处理，生成词单元集合；将词单元集合输入至语句分析模型中进行处理，获得首个词单元的注意力矩阵，并基于首个词单元的注意力矩阵，生成第一损失值；将首个词单元的注意力矩阵进行处理，确定样本语句对的语句关系，并将样本语句对的语句关系与语句关系标签进行对比，确定第二损失值；基于第一损失值和第二损失值生成第三损失值，并基于第三损失值对语句分析模型进行迭代训练，直至达到训练停止条件。上述方法及装置可以提高语句分析模型的准确性。

技术领域

本申请涉及计算机技术领域，特别涉及语句分析模型的训练方法及装置、语句分析方法及装置、计算设备及计算机可读存储介质。

背景技术

自然语言处理（Natural Language Processing，NLP）是计算机科学领域与人工智能领域中的一个重要方向，它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。

自然语言推理（Natural Language Inference，NLI）是许多NLP任务（如信息提取，机器翻译和问答）的基本前提条件。自然语言推理任务是给定两个句子A和B，预测句子间的关系，包括：蕴含关系，即如果文本A是真的，那么文本B一定为真；对立关系，即如果文本A是真的，那么文本B一定为假；中立关系，即上述两者都不是。

对于自然语言推理任务，通常选用双向注意力神经网络模型模型（BidirectionalEncoder Representation from Transformers，BERT）进行处理。BERT模型通过拼接前提与假设，利用注意力机制获取前提与假设之间的相互依赖关系，从而获得整个句子的表示向量，即第一个词单元‘[CLS]’的表示，最终对此表示通过线性映射与非线性变换获得前提与假设的逻辑关系的分类，即前提与假设之间的关系。但是此种方法进行推理，关注到的信息有限，信息提取深度及丰富度有待提高。

发明内容

有鉴于此，本申请实施例提供了语句分析模型的训练方法及装置、语句分析方法及装置、计算设备及计算机可读存储介质，以解决现有技术中存在的技术缺陷。

本申请实施例公开了一种语句分析模型的训练方法，包括：

获取多个样本语句对和每一个所述样本语句对的语句关系标签；

将所述样本语句对进行分词处理，生成词单元集合；

将所述词单元集合输入至语句分析模型中进行处理，获得首个词单元的注意力矩阵，并基于所述首个词单元的注意力矩阵，生成第一损失值；

将所述首个词单元的注意力矩阵进行处理，确定样本语句对的语句关系，并将所述样本语句对的语句关系与所述语句关系标签进行对比，确定第二损失值；

基于所述第一损失值和所述第二损失值生成第三损失值，并基于所述第三损失值对所述语句分析模型进行迭代训练，直至达到训练停止条件。

进一步地，所述语句分析模型包括n个注意力层，其中，n＞1，且n为整数；

所述将所述词单元集合输入至语句分析模型中进行处理，获得首个词单元的注意力矩阵，包括：

S11、将所述词单元集合输入至第一注意力层中进行处理，获得每一个词单元第一注意力层的输出矩阵；

S12、将所述每一个词单元第一注意力层的输出矩阵输入至第二注意力层中进行处理，获得每一个词单元第二注意力层的输出矩阵；

S13、将每一个词单元第i-1注意力层的输出矩阵输入至第i注意力层中进行处理，获得每一个词单元第i注意力层的输出矩阵，其中，1＜i≤n，且i为整数；