[发明专利]一种文本处理方法、装置、计算机设备及存储介质

说明书

本公开提供了一种文本处理方法、装置、计算机设备及存储介质，其中，该方法包括：获取待处理文本的特征句向量、及待处理文本中多个字符分别对应的特征字向量；通过注意力机制对特征句向量、以及多个字符分别对应的特征字向量进行处理，得到多个字符分别与特征句向量之间的相关度信息；基于多个字符分别与特征句向量之间的相关度信息，得到多个字符分别对应的重要性程度信息。本公开实施例通过表征待处理文本特征的特征句向量，以及能够表征待处理文本中的多个字符分别对应特征的特征字向量，得到多个字符分别对应的重要性程度，能够在不依赖与上下文关联约束的情况下得到多个字符分别在待处理文本中的重要性程度，具有更高的准确性。

技术领域

本公开涉及语言文字处理技术领域，具体而言，涉及一种文本处理方法、装置、计算机设备及存储介质。

背景技术

目前，语句中重要性词语的筛选与确定在客服回复、信息检索、自动对话等领域应用广泛。例如在信息检索时，通过对用户输入的检索文本中各个词语的重要性做出判断，并基于不同词语的重要性确定关键词，根据关键词进行检索，以得到更加符合用户检索需求的检索结果。

当前，通常采取有监督的序列标注方式对语句中词语的重要性做出分析，但该种方法仅对有较好上下文关联约束，且句长较短的语句分析结果较为准确，而对于上下文关联较小或者句长较长的文本的分析结果误差较大，导致该种方法的应用场景具有较大的限制。

发明内容

本公开实施例至少提供一种文本处理方法、装置、计算机设备及存储介质。

第一方面，本公开实施例提供了一种文本处理方法，包括：

获取待处理文本的特征句向量、及所述待处理文本中多个字符分别对应的特征字向量；

通过注意力机制对所述特征句向量、以及所述多个字符分别对应的特征字向量进行处理，得到所述多个字符分别与所述特征句向量之间的相关度信息；

基于所述多个字符分别与所述特征句向量之间的相关度信息，得到所述多个字符分别对应的重要性程度信息。

在一种可选的实施方式中，所述获取待处理文本的特征句向量、及所述待处理文本中多个字符分别对应的特征字向量，包括：

获取待处理文本；其中，所述待处理文本包括多个字符；

基于所述待处理文本，确定所述待处理文本对应的句向量，以及基于所述待处理文本中的多个字符，确定所述多个字符分别对应的字向量；

对所述句向量、及所述多个字符分别对应的字向量进行联合特征提取，得到所述待处理文本对应的特征句向量、及所述待处理文本中多个字符分别对应的特征字向量。

在一种可选的实施方式中，所述对所述句向量、及所述多个字符分别对应的字向量进行联合特征提取，包括：

利用预先训练的神经网络，对所述句向量、及所述多个字符分别对应的字向量进行联合特征提取，得到所述待处理文本对应的特征句向量、及所述待处理文本中多个字符分别对应的特征字向量。

在一种可选的实施方式中，所述通过注意力机制对所述特征句向量、以及所述多个字符分别对应的特征字向量进行处理，得到所述多个字符分别与所述特征句向量之间的相关度信息，包括：

针对所述多个字符中的每个字符，确定所述每个字符对应的特征字向量、与所述特征句向量之间的距离；

基于所述距离，确定所述每个字符与所述特征句向量之间的相关度信息。

在一种可选的实施方式中，所述训练所述神经网络，包括：

获取样本文本；

利用待训练的神经网络，得到所述样本文本中的字符分别与所述样本文本的样本句向量之间的样本相关度信息；