[发明专利]基于自然语言的标识单元归并方法、装置、设备和介质

权利要求书

1.一种基于自然语言的标识单元归并方法，其特征在于，包括：

获取多层自然语言处理神经网络模型中的神经层输出的多个标识单元，所述标识单元为输入多层自然语言处理神经网络模型的语料信息对应的中间输出信息；

获取所述多个标识单元之间的相似度；

根据所述相似度对所述多个标识单元进行归并。

2.根据权利要求1所述的基于自然语言的标识单元归并方法，其特征在于，所述根据所述相似度对所述多个标识单元进行归并的步骤，包括：

获取所述多个标识单元对应的长度；

根据所述多个标识单元对应的长度对所述多个标识单元进行归并。

3.根据权利要求1所述的基于自然语言的标识单元归并方法，其特征在于，所述获取所述多个标识单元之间的相似度的步骤，包括：

获取所述多个标识单元中每个标识单元对应的特征向量，得到多个特征向量；

获取所述多个特征向量之间的相似度，所述多个特征向量之间的相似度作为所述多个标识单元之间的相似度。

4.根据权利要求3所述的基于自然语言的标识单元归并方法，其特征在于，所述获取所述多个特征向量之间的相似度的步骤，包括：

获取所述多个特征向量中任意两个特征向量之间的相似度；

根据所述多个特征向量中任意两个特征向量之间的相似度构造相似度矩阵。

5.根据权利要求4所述的基于自然语言的标识单元归并方法，其特征在于，所述根据所述多个标识单元对应的长度对所述多个标识单元进行归并的步骤，包括：

计算所述多个特征向量中每个特征向量的长度，得到所述多个特征向量的长度；

根据所述多个特征向量的长度构造长度数组；

根据所述相似度矩阵和所述长度数组对所述多个标识单元进行归并。

6.根据权利要求5所述的基于自然语言的标识单元归并方法，其特征在于，所述根据所述相似度矩阵和所述长度数组对所述多个标识单元进行归并的步骤，包括：

将所述相似度矩阵中的元素进行降序排列；

获取在降序排列后的元素中排序靠前的第一预设比例对应的多个元素；

将所述多个元素中的每个元素对应的特征向量进行组合，得到所述每个元素对应的特征向量组；

根据所述长度数组获取所述每个元素对应的特征向量组的长度，得到多个组合长度值；

将所述多个组合长度值进行升序排序；

获取升序排序后的所述多个组合长度值中排序靠前的第二预设比例对应的多个组合长度值；

将所述排序靠前的第二预设比例对应的多个组合长度值对应的特征向量进行归并。

7.根据权利要求1所述的基于自然语言的标识单元归并方法，其特征在于，所述方法还包括：采用反向传播方法训练所述多层自然语言处理神经网络模型。

8.一种基于自然语言的标识单元归并装置，其特征在于，包括：

标识单元获取模块，用于获取多层自然语言处理神经网络模型中的神经层输出的多个标识单元，所述标识单元为输入多层自然语言处理神经网络模型的语料信息对应的中间输出信息；

相似度获取模块，用于获取所述多个标识单元之间的相似度；

归并模块，用于根据所述相似度对所述多个标识单元进行归并。

9.一种电子设备，其特征在于，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的基于自然语言的标识单元归并方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1-7任一项所述的基于自然语言的标识单元归并方法的步骤。