[发明专利]语义向量表示方法、装置、计算机设备和存储介质

说明书

本申请涉及人工智能领域，提供了一种语义向量表示方法、装置、计算机设备和存储介质，获取文本数据，并对所述文本数据进行分类，确定所述文本数据对应的类别；对所述文本数据进行分词处理，得到多个特征词和对应的文本序列；计算各个所述特征词在对应的类别中的权重值；根据所述权重值构建所述文本数据对应的权重矩阵；构建所述文本序列的嵌入矩阵，将所述权重矩阵加入预设的文本表示模型的自注意力机制中，通过预设的文本表示模型对所述嵌入矩阵进行处理，得到所述文本数据对应的语义向量。通过本申请提供的语义向量表示方法、装置、计算机设备和存储介质，能够准确的得到文本数据的语义向量。

技术领域

本申请涉及人工智能的技术领域，特别涉及一种语义向量表示方法、装置、计算机设备和存储介质。

背景技术

在智能问答或信息检索场景中，经常需要对句子进行表征，得到句子的语义向量。目前通常是使用带有自注意力(self-attention)机制的深度神经网络对句子进行表征，自注意力机制能够让一句话中的词向量由上下文词的向量加权获得。但是自注意力机制有一个不足，如果一个句子中不重要的词占比较大就会影响语义表征，从而影响后续的相似度计算。举个例子，假如在粤港澳大湾区城市的游玩攻略问答系统中，“粤港澳大湾区城市”这个词在该系统中是不那么重要的，因为问答系统的问题都是围绕着“粤港澳大湾区城市”的。如，买去粤港澳大湾区重点城市车票；找个粤港澳大湾区重点城市酒店；购买火车票；三个句子中，第一个句子和第三个句子语义更加相似，但是使用带有自注意力机制的深度网络语义表征模型得到三个句子向量中，第一个句子的向量和第二个句子的向量更相近。因此，导致句子的语义向量的准确性较低。

发明内容

本申请的主要目的为提供一种语义向量表示方法、装置、计算机设备和存储介质，旨在解决通过自注意力机制进行语义表征时，得到的语义向量准确性较低的技术问题。

为实现上述目的，本申请提供了一种语义向量表示方法，包括以下步骤：

获取文本数据，并对所述文本数据进行分类，确定所述文本数据对应的类别；

对所述文本数据进行分词处理，得到多个特征词和对应的文本序列；

计算各个所述特征词在对应的类别中的权重值；

根据所述权重值构建所述文本数据对应的权重矩阵；

构建所述文本序列的嵌入矩阵，将所述权重矩阵加入预设的文本表示模型的自注意力机制中，通过预设的文本表示模型对所述嵌入矩阵进行处理，得到所述文本数据对应的语义向量。

进一步地，所述计算各个所述特征词在对应的类别中的权重值的步骤，包括：

获取所述文本数据对应的类别的样本数据；

在所述样本数据中计算各个所述特征词的逆文本频率值，并将对应的逆文本频率值作为各个所述特征词对应的权重值。

进一步地，所述根据所述权重值构建所述文本数据对应的权重矩阵的步骤，包括：

将所述文本数据中的各个字对应的权重值按照各个字在所述文本数据中的顺序构建对应的权重矩阵。

进一步地，所述构建所述文本序列的嵌入矩阵，将所述权重矩阵加入预设的文本表示模型的自注意力机制中，通过预设的文本表示模型对所述嵌入矩阵进行处理，得到所述文本数据对应的语义向量的步骤，包括：

根据所述文本序列构建所述嵌入矩阵；

将所述嵌入矩阵输入自注意力机制得到对应的Q矩阵、K矩阵和V矩阵；

将Q矩阵、K矩阵相乘的结果与权重矩阵进行位乘，得到目标矩阵；

将目标矩阵通过归一化指数函数计算后与V矩阵进行相乘后输入文本表示模型的前馈神经网络部分进行处理，得到所述文本数据对应的语义向量。