[发明专利]一种语义分析模型的训练方法、语义分析方法及装置

说明书

本申请公开了一种语义分析模型的训练方法、语义分析及装置，在本说明书实施例提供的语义分析模型的训练方法中，由于在模型中加入了用于表示不同语义属性之间相关性的自注意力矩阵，通过该自注意力矩阵得到样本文本涉及每个语义属性的第二特征表示向量，再基于第二特征表示向量对样本文本进行分类，最后根据分类结果对语义分析模型进行训练，以使语义分析模型学习到不同语义属性之间的相关性对分类结果的影响，因此，训练后的语义分析模型在对待分析文本进行分类时，会将不同语义属性之间相关性的因素也考虑在内，使得语义分析更加准确。

技术领域

本申请涉及互联网技术领域，尤其涉及一种语义分析模型的训练方法、语义分析及装置。

背景技术

随着互联网技术的发展，使用机器代替人工对文本的语义进行分析已是大势所趋。其中，情感分析作为语义分析中的重要组成部分，已经在诸多领域广为应用。

例如，对于用户针对某家餐馆发表的评论进行情感分析，以分析该评论中所涉及的语义属性以及该语义属性的情感极性。语义属性可包括菜品口味、餐馆环境等。情感极性可包括正面、负面、中性等。假设该评论为“这家餐馆的鱼香肉丝特别好吃，就是座位有点小”，则可分析出该评论涉及菜品口味，情感极性为正面，还涉及餐馆环境，情感极性为负面。

在现有技术中，可采用基于深度学习的语义分析模型对文本进行语义分析，对于上例中的情感分析，基于深度学习的语义分析模型将对本文本的语义分析作为一个多分类问题，即，将不同的语义属性定义为不同的分类，同一语义属性但情感极性不同也定义为不同的分类，语义分析模型可输出对文本进行分类的结果，一个文本可同时属于多个不同的分类。

但是，现有技术中在对上述语义分析模型进行训练时，往往将不同的语义属性完全独立开，而忽略了不同语音属性之间的相关性，导致训练后的语义分析模型在应用时所表现出的语义分析准确性较低。

发明内容

本说明书实施例提供一种语义分析模型的训练方法、语义分析及装置，用于解决现有技术无法训练后的语义分析模型在应用时的语义分析准确性较低的问题。

本说明书实施例采用下述技术方案：

本说明书提供的一种语义分析模型的训练方法，包括：

获取样本文本，并确定所述样本文本中包含的每个分词；

根据待训练的语义分析模型，确定所述每个分词对应的词向量；

针对每个语义属性，根据所述待训练的语义分析模型中包含该语义属性对应的注意力矩阵，以及所述每个分词对应的词向量，确定所述样本文本涉及该语义属性的第一特征表示向量；

根据所述待训练的语义分析模型中包含的用于表示不同语义属性之间的相关性的自注意力矩阵，以及所述样本文本涉及每个语义属性的第一特征表示向量，确定所述样本文本涉及每个语义属性的第二特征表示向量；

根据所述待训练的语义分析模型以及所述样本文本涉及每个语义属性的第二特征表示向量，确定所述待训练的语义训练模型输出的分类结果，所述分类结果包括所述样本文本所属的语义属性以及所述样本文本所属的语义属性对应的情感极性；

根据所述分类结果和针对所述样本文本预设的标注，对所述语义分析模型中的模型参数进行调整，以完成对所述语义分析模型的训练。

可选地，根据待训练的语义分析模型，确定所述每个分词对应的词向量，具体包括：

将所述每个分词输入所述语义分析模型中的语义表征层，得到所述语义表征层输出的每个分词分别对应的双向语义表示向量，作为每个分词对应的词向量，所述语义表征层至少包括用于输出双向语义表示向量的子模型，所述子模型包括BERT模型。

可选地，确定所述样本文本涉及该语义属性的第一特征表示向量，具体包括：