[发明专利]用于处理文本的方法和装置

说明书

本申请实施例公开了用于处理文本的方法和装置。该方法的一具体实施方式包括：获取至少一个文本；对于至少一个文本中的文本，确定该文本中的语句的特征；对于至少一个文本中的文本中的语句，将该语句的特征输入预先训练的语句鉴别模型，得到用于表征是否将该语句用于生成新的文本的鉴别结果信息，其中，语句鉴别模型用于表征语句的特征与鉴别结果信息之间的对应关系；响应于确定鉴别结果信息表征将该语句用于生成新的文本，将该语句确定为目标语句；汇总目标语句，得到目标语句集合。该实施方式实现了提高鉴别效率和准确率。

技术领域

本申请实施例涉及计算机技术领域，具体涉及用于处理文本的方法和装置。

背景技术

随着互联网的快速发展，互联网上的各种内容层出不穷。在一些场景下，需要对多个内容进行整合，从而得到新的内容。例如，对于关于同一事件的多篇新闻需要进行汇总,可以抽取其中的重要内容并形成摘要性新闻。

发明内容

本申请实施例提出了用于处理文本的方法和装置。

第一方面，本申请实施例提供了一种用于处理文本的方法，该方法包括：获取至少一个文本；对于至少一个文本中的文本，确定该文本中的语句的特征；对于至少一个文本中的文本中的语句，将该语句的特征输入预先训练的语句鉴别模型，得到用于表征是否将该语句用于生成新的文本的鉴别结果信息，其中，语句鉴别模型用于表征语句的特征与鉴别结果信息之间的对应关系；响应于确定鉴别结果信息表征将该语句用于生成新的文本，将该语句确定为目标语句；汇总目标语句，得到目标语句集合。

在一些实施例中，该方法还包括：基于目标语句集合，生成新的文本。

在一些实施例中，该方法还包括：基于目标语句集合，生成文本标题；以及基于目标语句集合，生成新的文本，包括：基于目标语句集合和文本标题，生成新的文本。

在一些实施例中，该方法还包括：对于目标文本集合中的文本，获取该文本的预设指标；按照预设指标由大到小的顺序，选取目标数量的文本；将所选取的目标数量的文本确定为至少一个文本。

在一些实施例中，语句鉴别模型通过以下步骤训练得到：获取训练样本集合，训练样本包括样本文本和样本文本的标注信息，其中，标注信息用于表征样本文本中的各个语句是否用于生成新的文本；将训练样本集合中的训练样本的样本文本作为输入，将输入的样本文本的标注信息作为期望输出，训练得到语句鉴别模型。

第二方面，本申请实施例提供了一种用于处理文本的装置，该装置包括：文本获取单元，被配置成获取至少一个文本；特征确定单元，被配置成对于至少一个文本中的文本，确定该文本中的语句的特征；语句鉴别单元，被配置成对于至少一个文本中的文本中的语句，将该语句的特征输入预先训练的语句鉴别模型，得到用于表征是否将该语句用于生成新的文本的鉴别结果信息，其中，语句鉴别模型用于表征语句的特征与鉴别结果信息之间的对应关系；响应于确定鉴别结果信息表征将该语句用于生成新的文本，将该语句确定为目标语句；汇总单元，被配置成汇总目标语句，得到目标语句集合。

在一些实施例中，该装置还包括：文本生成单元，被配置成基于目标语句集合，生成新的文本。

在一些实施例中，该装置还包括：标题生成单元，被配置成基于目标语句集合，生成文本标题；以及文本生成单元被进一步配置成：基于目标语句集合和文本标题，生成新的文本。

在一些实施例中，该装置还包括：预设指标获取单元，被配置成对于目标文本集合中的文本，获取该文本的预设指标；选取单元，被配置成按照预设指标由大到小的顺序，选取目标数量的文本；文本确定单元，被配置成将所选取的目标数量的文本确定为至少一个文本。

在一些实施例中，语句鉴别模型通过以下步骤训练得到：获取训练样本集合，训练样本包括样本文本和样本文本的标注信息，其中，标注信息用于表征样本文本中的各个语句是否用于生成新的文本；将训练样本集合中的训练样本的样本文本作为输入，将输入的样本文本的标注信息作为期望输出，训练得到语句鉴别模型。