[发明专利]文本处理方法及装置

说明书

本申请属于人工智能技术领域，具体涉及一种文本处理方法及装置。该文本处理方法包括：对文本进行分句检测以获得一个或多个分句；当文本包括多个分句时，对多个分句进行命名实体识别，得到多个分句中包含的命名实体；根据多个分句中包含的命名实体确定多个分句中每个分句对的不同分句之间是否具有语义联系；当多个分句中存在至少预定数量个目标分句时，判定文本为异常文本，至少预定数量个目标分句中任意两个分句组成的分句对均为不具有语义联系的分句对。基于该方法可以高效准确地识别出拼凑的异常文本，避免人工对低质拼凑内容审核从而花费大量时间和人力成本。

技术领域

本申请属于人工智能技术领域，具体涉及一种文本处理方法及装置。

背景技术

现如今，各种用户自制内容爆发式增长。在各种短视频平台、视频平台、文字内容平台下，都需要对低质内容进行审核，而拼凑标题就是低质内容的其中一个属性。拼凑标题可以是视频标题、新闻标题、文章标题等。相关技术中无法对拼凑的异常标题进行判定识别，使得视频、新闻、文章等信息流的质量无法得到把控。

而如果采用对视频、新闻、文章等信息流的标题进行人工审核的方式剔除低质内容，需要大量的人力投入，人力成本较高并且效率较慢，不适用于新迅速的各种用户自制内容平台。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本申请的目的在于提供一种文本处理方法及装置，至少在一定程度上克服相关技术中用户自制内容上的拼凑异常文本无法识别判定，而人工对拼凑异常内容进行审核需要花费大量成本的技术问题。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供一种文本处理方法。所述文本处理方法包括：

对文本进行分句检测以获得一个或多个分句；

当所述文本包括多个分句时，对所述多个分句进行命名实体识别，得到所述多个分句中包含的命名实体；

根据所述多个分句中包含的命名实体确定所述多个分句中每个分句对的不同分句之间是否具有语义联系，其中，每个所述分句对由所述多个分句中的任意两个分句组成；

当所述多个分句中存在至少预定数量个目标分句时，判定所述文本为异常文本，所述至少预定数量个目标分句中任意两个分句组成的分句对均为不具有语义联系的分句对。

根据本申请实施例的一个方面，提供一种文本处理装置。所述文本处理装置包括：

分句检测模块，被配置为对文本进行分句检测以获得一个或多个分句；

命名实体识别模块，被配置为当所述文本包括多个分句时，对所述多个分句进行命名实体识别，得到所述多个分句中包含的命名实体；

语义联系判定模块，被配置为根据所述多个分句中包含的命名实体确定所述多个分句中每个分句对的不同分句之间是否具有语义联系，其中，每个所述分句对由所述多个分句中的任意两个分句组成；

异常文本判定模块，所述多个分句中存在至少预定数量个目标分句时，判定所述文本为异常文本，所述至少预定数量个目标分句中任意两个分句组成的分句对均为不具有语义联系的分句对。

在本申请的一些实施例中，基于以上技术方案，所述语义联系判定模块包括：

第一命名实体配对单元，被配置为针对所述多个分句中每个分句对，从所述分句对的不同分句中分别选取一个命名实体组成命名实体对，并获取每个命名实体对的两个命名实体之间的余弦相似度；