[发明专利]自然语言处理方法及其设备和存储介质

说明书

本公开提供了一种基于自注意力的自然语言处理方法及其设备和存储介质。所述方法，包括：获取输入向量序列，所述输入向量序列包括待处理文本的词向量序列；对输入向量序列中的词向量进行分组，并对至少一组词向量执行自注意力处理；以及，基于自注意力处理结果，生成待处理文本对应的输出向量序列。

技术领域

本公开一般地涉及自然语言处理领域，具体地涉及基于自注意力 的自然语言处理方法以及对应的设备和计算机可读存储介质。

背景技术

自注意力(Self Attention)机制是一种用于对长时间依赖进行建 模的方法。所谓长时间依赖指的是自然语言文本中相距较远的文本信 息之间存在的依赖关系。比如文章中某处出现“海明威出生在奥克帕 克”，文章中另一处出现“海明威是1954年诺贝尔文学奖获得者”，对 于人类而言，即使这两点信息出现在文章中相距很远的两个位置，人 类仍然可以由此得出1954年诺贝尔文学奖获得者出生在奥克帕克的 结论，但是对于计算机，传统的机器阅读理解方法难以处理这种长距 离(时间)跨度的问题，计算机难以将跨度较大的两个“海明威”联系 起来并建立“奥克帕克”与“诺贝尔文学奖”的关联。自注意力机制就是 解决这种问题的有效方法，自注意力机制通过计算相似度矩阵来计算 文章中任意两个词语之间的关联度，可以建立相距较远的信息之间的 联系。

在现有自注意力机制中，计算相似度矩阵S的公式可以一般性地 表示如下：

S＝f(X)·f(X^T) (1)

其中X是待处理文本的矩阵表示，X的每一列对应于文本中的一个 词向量，词向量在X中的列位置与其在文本中的位置相对应。S表征了 文本中的词与词之间的关联度，S中的元素s_ij表示文本中的第i个词 与第j个词之间的关联度。X是L＊d维矩阵，L为文本长度，d为词向 量维度，f是线性或非线性映射函数(本领域技术人员应该理解，函 数f的具体选择因方法而异，这里给出的是自注意力的一般性公式)。 因此S的计算的时间和空间复杂度(对应于自注意力机制的计算的时 间和空间复杂度)为O(L²d)，即算法复杂度与文本长度L成平方关系。 当L非常大时，计算的时间和空间复杂度将高到无法接受。

因此，需要一种改进的基于自注意力的自然语言处理机制，其能 够降低计算和空间复杂度，适合处理超长文本。

发明内容

为此，本公开提出了一种基于分组的自注意力机制，其中通过对 长文本中的词语进行分组(优选地，按重要度进行排序分组)的方式 来降低自注意力机制的计算的时间和空间复杂度。根据本公开的基于 分组的自注意力机制例如可以将计算的时间和空间复杂度降低到接 近线性复杂度，例如文本长度增加10倍，自注意力机制计算的时间 和空间复杂度仅增加10倍。本公开的基于分组的自注意力机制可以 适用于超长文本。

根据本公开的第一方面，提供了一种基于自注意力的处理文本的 方法，包括：获取输入向量序列，所述输入向量序列包括待处理文本 的词向量序列；对输入向量序列中的词向量进行分组，并对至少一组 词向量执行自注意力处理；以及基于自注意力处理结果，生成待处理 文本对应的输出向量序列。

根据本公开的第二方面，提供了一种机器阅读理解方法，包括： 获取问题和文章；针对文章的文本，执行分组自注意力处理，以得到 文章文本的自注意力处理后的词向量序列；根据文章文本的自注意力 处理后的词向量序列，获得文章中每个词语关于所述问题的对齐向量； 以及根据对齐向量，生成针对问题的答案。其中，所述分组自注意力 处理包括；获取输入向量序列；对输入向量序列中的词向量进行分组， 并对至少一组词向量执行自注意力处理；以及，基于自注意力处理结 果，生成待处理文本的自注意力处理后的词向量序列。