[发明专利]一种大规模并行政策数据知识抽取方法及系统

说明书

本发明公开了一种大规模并行政策数据知识抽取方法，包括：获取原始政策数据；对所述原始政策数据进行分类，并构建多个政策数据库；根据所述政策数据库收集政策信息数据，对政策信息数据进行正文内容解析，生成政策文本数据；对所述政策文本数据进行知识抽取。本发明提供的一种大规模并行政策数据知识抽取方法及系统，通过对政策数据进行正文内容解析，获得政策文本数据；从而实现政策数据的知识抽取。同时，实现了将网络上各政策数据的收集和整理，便于用户一次访问可以同时了解各种政策，节约了时间成本。

技术领域

本发明涉及知识抽取技术领域，具体地说，特别涉及一种大规模并行政策数据知识抽取方法及系统。

背景技术

随着网络技术的发展，传统的由纸质文件报刊等发布政策的途径现在更改为政策会在网络上第一时间进行发布，但是发布政策的网站较为多样，当需要了解多个政策的时候需要访问多个网站，费时费力。

同时，在信息量巨大的网络中，检索到符合用户预期的结果信息是亟待解决的问题，为了让用户更精准更快速的获取到自己想要的政策信息，这就需要构建政策知识图谱，基于政策知识图谱建立自动问答系统。而构建政策知识图谱，需要先有知识，而现有技术中缺少快速准确的知识获取方法。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种大规模并行政策数据知识抽取方法及系统。所述技术方案如下：

一方面，提供了一种大规模并行政策数据知识抽取方法，包括：

获取原始政策数据；

对所述原始政策数据进行分类，并构建多个政策数据库；

根据所述政策数据库收集政策信息数据，对政策信息数据进行正文内容解析，生成政策文本数据；

对所述政策文本数据进行知识抽取。

进一步地，所述获取原始政策数据，包括：

对应于行政区划信息及机构信息设置政策数据来源目录；

基于分布式消息队列以及流式处理框架，针对政策数据来源目录获取批量政策数据；

对所述批量政策数据进行预处理，得到所述原始政策数据。

进一步地，所述对所述原始政策数据进行分类，并构建多个政策数据库，包括：

根据预设参数对所述原始政策数据分类；

以所述预设参数为名称，构建多个政策数据库。

进一步地，所述预设参数包括：政策发布时间、截止日期、政策标题以及发文机构。

进一步地，所述对所述政策文本数据进行知识抽取，包括：

对所述政策文本数据进行标签生成操作，获得政策类别标签，基于所述政策类别标签将所述政策文本数据转化为结构化数据，获得结构政策数据。

进一步地，所述对所述政策文本数据进行标签生成操作，获得政策类别标签的步骤包括：

调用预设的分词工具，将预设的政策词典替换所述分词工具的词典，获得目标分词工具；

通过所述目标分词工具对所述政策文本数据进行分词操作，获得多个初始政策词语；

从所述初始政策词语中去掉停用词，获得目标政策词语；

将所述目标政策词语输入至预先训练的向量模型中，获得词向量；

基于所述词向量进行分类预测，输出对应的所述政策类别标签。

另一方面，提供了一种大规模并行政策数据知识抽取系统，包括：