[发明专利]佛学数据收集方法、装置、设备及存储介质

说明书

本发明涉及大数据领域，公开了一种佛学数据收集方法、装置、设备及存储介质。本方法包括：获取数据采集需求和解析标签，并根据数据采集需求，确定数据供应方；调用预置数据请求接口，获取佛学源数据，同时，根据解析标签，对佛学源数据进行结构化解析，得到原始佛学数据；对原始佛学数据进行数据去重，得到目标佛学数据，并将目标佛学数据存储至预置数据库，构建佛学知识图谱数据库。对数据进行严格的结构化解析，解决了数据丢失，降低了数据库中数据的冗余率，提升了数据收集系统的稳定性。

技术领域

本发明涉及大数据技术领域，尤其涉及一种佛学数据收集方法、装置、设备及存储介质。

背景技术

知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合，并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论，它能为学科研究提供切实的、有价值的参考，在对其进行搭建收集时需要用到叫做知识图谱数据收集系统。

但是现有的数据收集系统还存在以下问题：

1.没有对数据进行严格的结构化解析；

2.将半结构化的数据当作非结构化的数据来处理，导致重要信息丢失；

3.没有对各个渠道收到的数据信息进行过滤，造成数据库中的数据冗余度极高。

发明内容

本发明的主要目的是解决现有的没有对数据进行严格的结构化解析，数据信息丢失且数据收集系统中数据冗余率高的技术问题。

本发明第一方面提供了一种佛学数据收集方法，包括：

接收数据采集需求和解析标签，并根据所述数据采集需求，确定数据供应方，其中，所述数据供应方包括：数据库、网页和pdf版本书籍，所述解析标签中包含有结构化信息及半结构化信息；

根据所述数据供应方，调用预置数据请求接口，获取佛学源数据；

根据所述解析标签，对所述佛学源数据进行解析，得到原始佛学数据；

对所述原始佛学数据进行数据去重，得到目标佛学数据，并将所述目标佛学数据存储至预置数据库。

可选地，在本发明第一方面的第一种实现方式中，所述根据所述数据供应方，调用预置数据请求接口，获取佛学源数据包括：

若所述数据供应方为数据库，则对所述数据采集需求进行解析，获取所述数据采集需求中携带的数据存储位置，并根据所述数据存储位置，调用预置数据库请求接口，获取佛学源数据；

若所述数据供应方为pdf版本书籍，则通过预置书籍请求接口读取对应佛学源数据；

若所述数据供应方为网页，则对所述数据采集需求进行解析，获取待爬取网页的网页地址，爬取所述待爬取网页中的待爬取网页数据，得到佛学源数据。

可选地，在本发明第一方面的第二种实现方式中，所述获取待爬取网页的网页地址，爬取所述待爬取网页中的待爬取网页数据，得到佛学源数据包括：

获取待爬取网页的网页地址，根据所述待爬取网页的网页地址，获取所述待爬取网页的对应的有效登录数据；

根据所述有效登录数据，从网络地址库中随机选取可用的网络地址，其中，所述网络地址库是配置在所述网页数据爬取平台中的用于存储不同网络地址的数据库；

对所述有效登录数据进行正确性验证，得到通过所述正确性验证的目标登录数据，并根据所述目标登录数据，登录所述待爬取网页，并根据与所述待爬取网页相对应的渲染方式渲染所述待爬取网页；