[发明专利]一种知识图谱数据抽取方法和系统

说明书

本公开提供了一种知识图谱数据抽取方法和系统，所述方法，包括：S1，获取待抽取的原数据；S2，对原数据进行检查，并判断数据文件类型；S3，对图片类型文件运用光学字符识别技术，识别出文件中的字符；S4，提取文件中的字符内容，并生成包含字串列表的文本数据；S5，运用自然语言处理技术处理所述字串列表，提取所述文本数据中的实体和关系；S6，根据提取的实体和关系抽取知识图谱数据。所述系统包括：数据输入管理组件；数据结构辨识组件；光学字符识别组件；文本提取组件；自然语言处理组件；知识图谱构建组件。本公开所述的方法和系统能够丰富知识图谱数据抽取支持的数据种类。提高数据抽取工作的效率。扩充知识图谱潜在的数据源。

技术领域

本公开涉及知识图谱，尤其涉及一种知识图谱数据抽取方法和系统

背景技术

知识图谱是一种显示知识发展进程与结构关系的数据可视化技术，知识图谱描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。能够为学科研究提供切实的、有价值的参考。

数据抽取系统向知识图谱提供要收录的知识内容，包括实体、关系、属性等信息，以便知识图谱建立实体关联。对于一些非结构化数据，例如文本文件，数据抽取系统会调用自然语言处理模块提取出文本内容中的实体以及关系。

然而，很多非结构文件并非由文本组成，例如一部分pdf文件、图片文件等，数据以图片形式存在于文件中，传统自然语言处理技术无法提取出有用的信息，限制了数据抽取的适用范围，也限制了知识图谱的应用。

发明内容

为了解决上述技术问题中的至少一个，本公开提供了一种知识图谱数据抽取方法和系统，具体实现方式：

一种知识图谱数据抽取方法，包括：

S1，获取待抽取的原数据；

S2，对原数据进行检查，并判断数据文件类型；

其中，所述检查包括文件格式检查和数据特征结构检查；所述文件类型包括图片类型文件、文本文件类型和富文本文件类型；

S3，若判断数据文件类型为图片类型文件，则对图片类型文件运用光学字符识别技术，识别出文件中的字符；

S4，提取经过光学字符识别技术识别后的图片类型文件、和/或文本类文件、和/或富文本类文件中的字符内容，并根据字符内容生成包含字串类别的文本数据；

S5，运用自然语言处理技术处理所述字串列表，提取所述文本数据中的实体和关系；

S6，从提取的实体和关系中抽取用于构建知识图谱的知识图谱数据。

进一步地，步骤S2中，若文件为不可识别的文件类型，则将不可识别的文件从原数据中抽取，并发出告警信息。

进一步地，步骤S3中，光学字符识别技术包括：对图片类型文件的图像进行降噪处理、二值化处理、字符切分、归一化处理、特征提取、降维处理、字符识别和结果优化。

进一步地，步骤S4中，根据字符内容生成包含字串类表的文本数据的方法包括：将字符内容按原数据的语言结构进行整理，还原成整段文字，根据整段文字生成字串列表。

进一步地，步骤S5中，运用自然语言处理技术处理所述文本数据的方法包括：对字串列表进行预处理，生成词汇列表并标记词汇属性；其中所述预处理包括：分词处理、词性标注、词形还原、停止词识别和依赖关系解析。

进一步地，在步骤S5中，提取文本数据中实体和关系的方法包括：对词汇列表进行分析，提取命名实体和关系描述，并整理成实体列表和关系列表。

进一步地，对词汇列表进行分析包括：对词汇进行命名实体识别、共指解析和歧义消解，为每个实体产生唯一的名称和同义词，并记录实体间关系，同时记录实体的属性信息。