[发明专利]文本处理方法、装置、设备和存储介质

说明书

提供了一种文本处理方法、装置、设备和存储介质。所述方法包括获取输入文本；利用聚类将所述输入文本分割为多个部分；对所述多个部分进行分析，生成所述多个部分中的每个部分对应的分析结果；对所述每个部分对应的分析结果进行合并，以生成输出文本。

技术领域

本申请涉及文本处理领域，并且具体涉及一种文本处理方法、文本处理装置、文本处理设备以及计算机可读存储介质。

背景技术

深度神经网络是一种大规模、多参数优化的工具。依靠大量的训练数据，深度神经网络能够学习出数据中难以总结的隐藏特征，从而完成多项复杂的任务，如人脸检测、图像语义分割、文本摘要提取、物体检测、动作追踪、自然语言翻译等。

文本摘要提取指的是将一段有明确含义的文本内容进行高度的概括和抽象，生成文本的摘要。传统的文本摘要提取方法生成的摘要长短有所差别。因此，当需要指定字数的摘要时，现有的实现方式是通过训练神经网络模型，使神经网络模型在处理输入文本时逐字生成，到达指定字数后停止成长，进而生成指定字数的摘要。但是，这种处理方法可能存在最终生成的摘要中存在半句的问题，或者当需要多个指定字数时，对于每种长度的摘要都需要训练一个神经网络模型，从而使得实现复杂度高的问题。

发明内容

鉴于上述问题，本公开提供了一种文本处理方法、文本处理装置、文本处理设备以及计算机可读存储介质。

根据本公开的一个方面，提供了一种文本处理方法，所述方法包括：获取输入文本；利用聚类将所述输入文本分割为多个部分；对所述多个部分进行分析，生成所述多个部分中的每个部分对应的分析结果；对所述每个部分对应的分析结果进行合并，以生成输出文本。

根据本公开的一个方面，其中，利用聚类将所述输入文本分割为多个部分包括：初始化所述多个部分相应的多个中心句；通过计算所述输入文本中的组成句子与所述多个中心句之间的相似度，基于相似度将所述输入文本中的组成句子分别划分到所述多个中心句相应的部分中，并更新所述多个部分所包含的组成句子；在所述多个部分内，通过计算各个组成句子之间的相似度，将总相似度最高的组成句子确定为新的中心句；重复上述过程直到所述新的中心句不再变化。

根据本公开的一个方面，其中，利用聚类将输入文本分割为的多个部分的数目由所述输出文本的预定目标字数确定。

根据本公开的一个方面，其中，所述对所述每个部分对应的分析结果进行合并包括：计算所述分析结果的各个组成句子与所述输入文本的所有组成句子之间的相似度；分别找出与所述分析结果的各个组成句子对应的、相似度最高的所述输入文本的各个组成句子在所述输入文本中的位置；基于所述位置在所述输入文本中的出现顺序，对所述分析结果的各个组成句子进行排序，并按照所述排序合并所述分析结果的各个组成句子。

根据本公开的一个方面，其中，针对所述多个部分生成相同字数的分析结果。

根据本公开的一个方面，其中，基于所述多个部分的组成句子的权重，针对所述多个部分生成不同字数的分析结果。

根据本公开的一个方面，提供了一种文本处理装置，所述装置包括：获取单元，用于获取输入文本；分割单元，用于利用聚类将所述输入文本分割为多个部分；分析单元，用于对所述多个部分进行分析，生成所述多个部分中的每个部分对应的分析结果；合并单元，用于对所述每个部分对应的分析结果进行合并，以生成输出文本。

根据本公开的一个方面，其中，所述分割单元初始化所述多个部分相应的多个中心句；通过计算所述输入文本中的组成句子与所述多个中心句之间的相似度，基于相似度将所述输入文本中的组成句子分别划分到所述多个中心句相应的部分中，并更新所述多个部分所包含的组成句子；在所述多个部分内，通过计算各个组成句子之间的相似度，将总相似度最高的组成句子确定为新的中心句，重复上述过程直到所述新的中心句不再变化。