[发明专利]一种语义分析模型的训练方法、语义分析方法及装置

权利要求书

1.一种语义分析模型的训练方法，其特征在于，所述方法包括：

根据待训练的语义分析模型，确定样本文本中每个分词对应的词向量；

针对每个语义属性，根据所述待训练的语义分析模型中包含该语义属性对应的注意力矩阵，以及所述每个分词对应的词向量，确定所述样本文本涉及该语义属性的第一特征表示向量；

根据所述待训练的语义分析模型中包含的用于表示不同语义属性之间的相关性的自注意力矩阵，以及所述样本文本涉及每个语义属性的第一特征表示向量，确定所述样本文本涉及每个语义属性的第二特征表示向量；

根据所述待训练的语义分析模型以及所述样本文本涉及每个语义属性的第二特征表示向量，确定所述待训练的语义训练模型输出的分类结果，所述分类结果包括所述样本文本所属的语义属性以及所述样本文本所属的语义属性对应的情感极性；

根据所述分类结果和针对所述样本文本预设的标注，对所述语义分析模型中的模型参数进行调整，以完成对所述语义分析模型的训练。

2.如权利要求1所述的方法，其特征在于，根据待训练的语义分析模型，确定所述每个分词对应的词向量，具体包括：

将所述每个分词输入所述语义分析模型中的语义表征层，得到所述语义表征层输出的每个分词分别对应的双向语义表示向量，作为每个分词对应的词向量，所述语义表征层至少包括用于输出双向语义表示向量的子模型，所述子模型包括BERT模型。

3.如权利要求1所述的方法，其特征在于，确定所述样本文本涉及该语义属性的第一特征表示向量，具体包括：

将每个分词对应的词向量输入所述语义分析模型中的属性表征层；

通过所述属性表征层中包含的该语义属性对应的注意力矩阵，对每个分词对应的词向量进行注意力加权；

根据注意力加权后的每个分词对应的词向量，确定所述样本文本涉及该语义属性的第一特征表示向量。

4.如权利要求1所述的方法，其特征在于，确定所述样本文本涉及每个语义属性的第二特征表示向量，具体包括：

将所述样本文本涉及每个语义属性的第一特征表示向量输入所述语音分析模型中的属性相关性表示层；

通过所述属性相关性表示层中包含的用于表示不同语义属性之间的相关性的自注意力矩阵，对所述样本文本涉及每个语义属性的第一特征表示向量进行自注意力加权；

根据自注意力加权后的各第一特征表示向量，确定所述样本文本涉及每个语义属性的第二特征表示向量。

5.如权利要求1所述的方法，其特征在于，确定所述待训练的语义训练模型输出的分类结果，具体包括：

将所述样本文本涉及每个语义属性的第二特征表示向量输入所述语义分析模型中的分类层；

根据每个第二特征表示向量以及所述分类层中包含的与每个语义属性对应的分类参数，对所述样本文本进行分类，得到所述分类层输出的分类结果。

6.如权利要求5所述的方法，其特征在于，对所述语义分析模型中的模型参数进行调整，具体包括：

根据所述分类结果和针对所述样本文本预设的标注，确定所述分类结果对应的第一损失；

针对由任意两个语义属性构成的属性组合，确定该属性组合中两个语义属性之间的相关系数，以及所述分类层中包含的与该属性组合中两个语义属性对应的分类参数的差值，根据所述相关系数和所述差值，确定该属性组合对应的第二损失；

根据第一损失以及每个属性组合对应的第二损失，确定综合损失；

以综合损失最小化为训练目标，对所述语义分析模型中的模型参数进行调整。

7.如权利要求6所述的方法，其特征在于，确定该属性组合中两个语义属性之间的相关系数，具体包括：

确定所述样本文本所在的训练集；

确定针对所述训练集中每个文本预设的标注；

确定针对所述每个文本预设的标注中包含的在该属性组合中两个语义属性上的情感极性对应的标注值；

根据所述标注值确定该属性组合中两个语义属性之间的相关系数。