[发明专利]一种核心信息提取的方法和系统

说明书

本说明书实施例公开了一种核心信息提取的方法及系统。所述核心信息提取的方法包括：获取文本信息；基于对文本信息的分词处理，获取与文本信息对应的一个或多个分词信息；确定一个或者多个分词信息在文本信息中的一个或者多个权重；权重能够反映一个或多个分词信息在文本信息中的重要度；至少基于一个或者多个权重确定文本信息的核心信息。

技术领域

本说明书涉及人工智能领域，特别涉及一种核心信息提取的方法和系统。

背景技术

随着信息社会的发展，各领域的信息数据迅速增多。通过人工智能自动地从大量文本中准确提取核心信息对于互联网时代的信息检索、数据挖掘、数据处理等诸多领域十分重要，因此，提取文本的核心信息成为自然语言处理领域的一项重要技术。

在核心信息提取的技术中，常用的核心信息提取方法包括无监督和有监督两种方案。无监督的核心信息提取基于统计的方法在文档、篇章文本、大数据上应用良好，但难以准确计算小数据量文本的关键词。有监督算法在短文本小数据上效果优于无监督算法，但随着互联网的快速发展以及用户使用场景的日益复杂，不同企业用户的文本场景不同、文本篇幅不同，同样的词语在不同场景下权重差异较大，常见的有监督算法难以获取优质标注数据。

因此希望有一种可靠的改进方法，能够不依赖于文本篇幅以及标注样本，适应各种场景下的文本核心信息提取。

发明内容

本说明书的一个方面提供一种核心信息提取方法。所述方法包括：获取文本信息；基于对所述文本信息的分词处理，获取与所述文本信息对应的一个或多个分词信息；确定所述一个或者多个分词信息在所述文本信息中的一个或者多个权重；所述权重能够反映所述一个或多个分词信息在所述文本信息中的重要度；至少基于所述一个或者多个权重确定所述文本信息的核心信息。

在一些实施例中，所述确定所述一个或者多个分词信息在所述文本信息中的权重包括：基于所述一个或多个分词信息和所述文本信息，确定一个或者多个遮罩文本；所述一个或多个遮罩文本中分别至少有一个分词信息被遮住；基于第一预设算法和所述文本信息确定所述文本信息的原始向量表示；基于第一预设算法和所述一个或多个遮罩文本确定一个或者多个遮罩向量表示；根据所述原始向量表示以及所述一个或者多个遮罩向量表示确定所述一个或者多个权重。

在一些实施例中，所述根据所述原始向量表示以及所述一个或者多个遮罩向量表示确定所述一个或者多个权重包括：确定所述一个或者多个遮罩向量表示与所述原始向量表示之间的一个或者多个距离；根据所述一个或者多个距离确定所述一个或者多个权重。

在一些实施例中，所述权重与其对应的距离正相关。

在一些实施例中，所述距离包括以下至少一种：cosine距离、欧拉距离或曼哈顿距离。

在一些实施例中，根据所述一个或者多个距离确定所述一个或者多个权重包括：对所述一个或者多个距离进行归一化，以确定所述一个或多个权重。

在一些实施例中，所述第一预设算法包括BERT模型。

在一些实施例中，所述至少基于所述一个或者多个权重确定所述文本信息的核心信息包括：根据所述一个或者多个权重及预设阈值确定所述文本信息的核心信息。

在一些实施例中，所述文本信息包括短文本信息。

在一些实施例中，所述方法还包括：获取限制词汇信息；基于限制词汇信息对所述一个或多个分词信息进行筛选，如果一个或多个分词信息包含在所述限制词汇信息中，则将该分词信息排除在核心信息之外。

在一些实施例中，所述文本信息包括短文本信息。