[发明专利]文章转载关系的识别方法、装置、设备及可读存储介质

说明书

本发明实施例提供一种文章转载关系的识别方法、装置、设备及可读存储介质，该方法包括：获取多个待识别文章的文章信息；根据各个待识别文章的文章信息和预先建立的神经网络模型，确定各个待识别文章所属的类型；将属于同一类型且符合所述预设识别策略的每两个待识别文章之间确定为存在转载关系；针对属于同一类型且不符合所述预设识别策略的每两个待识别文章，根据该两个待识别文章的文章信息计算该两个待识别文章的正文句子间的编辑距离，并根据该两个待识别文章的正文句子间的编辑距离，确定该两个待识别文章是否存在转载关系。本发明实施例能够对未注明转载来源的文章的转载关系进行识别，并且能够保证文章转载关系识别的速度和准确度。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种文章转载关系的识别方法、装置、设备及可读存储介质。

背景技术

随着互联网大数据的蓬勃发展，大规模的传统报业都向新媒体形式转型，新媒体技术逐渐趋于成熟的发展带来媒体传播渠道和内容形态上的革命性变化，分析新闻、评论等文章在不同渠道媒体中的转载情况是构建大数据驱动式采编、传播分析决策以及知识产权保护的重要组成部分，对于文章的影响力分析具有十分重要的意义。

现有技术中，通过文章中注明的转载来源进行文章之间的转载关系识别。

然而，一些文章没有注明所转载的来源，现有技术无法对未注明来源的文章进行转载关系识别。

发明内容

本发明实施例提供一种文章转载关系的识别方法、装置、设备及可读存储介质，以解决现有技术无法对未注明来源的文章进行转载关系识别的问题。

第一方面，本发明实施例提供一种文章转载关系的识别方法，包括：

获取多个待识别文章的文章信息；

根据各个待识别文章的文章信息和预先建立的神经网络模型，确定各个待识别文章所属的类型；

根据预设识别策略、各个待识别文章的文章信息和所属类型，将属于同一类型且符合所述预设识别策略的每两个待识别文章之间确定为存在转载关系；

针对属于同一类型且不符合所述预设识别策略的每两个待识别文章，根据该两个待识别文章的文章信息计算该两个待识别文章的正文句子间的编辑距离，并根据该两个待识别文章的正文句子间的编辑距离，确定该两个待识别文章是否存在转载关系。

在一种可能的实施方式中，所述获取多个待识别文章的文章信息包括：

获取包含各个待识别文章的超文本标记语言HTML数据，并从各个HTML数据中提取各个待识别文章的原始信息；

删除各个待识别文章的原始信息中的非文本信息，得到各个待识别文章的文章信息。

在一种可能的实施方式中，所述文章信息包括多个词汇；所述根据各个待识别文章的文章信息和预先建立的神经网络模型，确定各个待识别文章所属的类型，包括：

通过向量化表示模型获取各个待识别文章中各个词汇对应的向量；

针对每个待识别文章，将该待识别文章中各个词汇对应的向量输入到预先建立的双向长短期记忆网络，得到该待识别文章中各个词汇对应的浅层语义向量；

针对每个待识别文章，将该待识别文章中各个词汇对应的浅层语义向量输入到预先建立的卷积神经网络中，得到该待识别文章所属的类型。

在一种可能的实施方式中，所述文章信息包括标题和正文字数；所述根据预设识别策略、各个待识别文章的文章信息和所属类型，将属于同一类型且符合预设识别策略的每两个待识别文章之间确定为存在转载关系，包括：

针对属于同一类型的每两个待识别文章，识别该两个待识别文章的标题是否相同，并计算该两个待识别文章的正文字数之间的差值，将所述差值与预设差值阈值进行对比；