[发明专利]一种数据抽取方法、设备及计算机可存储介质

说明书

本发明公开了一种数据抽取方法、设备及计算机可存储介质。所述方法包括：获取HTML文本；根据预设的内容抽取规则，在所述HTML文本中抽取预设类型的数据；根据在所述HTML文本中抽取的预设类型的数据，生成结构化数据。本发明预先设置内容抽取规则，利用该内容抽取规则，可以对HTML文本进行细粒度的结构化抽取，进而可以获得各种类型的数据，得到包含各种类型数据的结构化数据，抽取速度快，抽取精度高。

技术领域

本发明涉及大数据技术领域，特别是涉及一种数据抽取方法、设备及计算机可存储介质。

背景技术

目前，在舆情分析、传播分析、数据平台服务等应用场景都需要进行数据抽取，以便将获得的大量数据作为后续数据分析或者数据服务业务的数据基础。

数据抽取的质量影响数据分析结果的准确性。但是，现有数据抽取方式仅是简单地抽取数据，没有细粒度地、分门别类地抽取数据，这样做抽取的数据量大且数据中包含的内容量大，不能区分出数据中包含的各类数据内容。例如：现有的数据抽取方法不区分数据中包含的标题、内容、发布时间、来源信息和发布者信息。这就造成抽取的数据不能够被有效利用，也对后续的数据分析或者数据服务业务产生了不良影响。

发明内容

本发明要解决的技术问题是提供一种数据抽取方法、设备及计算机可存储介质，用以解决现有数据抽取方法没有对数据进行细粒度抽取的问题。

为了解决上述技术问题，本发明是通过以下技术方案来解决的：

本发明提供了一种数据抽取方法，包括：获取HTML文本；根据预设的内容抽取规则，在所述HTML文本中抽取预设类型的数据；根据在所述HTML文本中抽取的预设类型的数据，生成结构化数据。

其中，所述根据预设的内容抽取规则，在所述HTML文本中抽取预设类型的数据，包括：在所述HTML文本中，利用XPATH定位所述预设类型的数据对应的标签位置，并在所述HTML文本的所述标签位置，抽取所述预设类型的数据；和/或，在所述HTML文本中，获取预设范围内的文本，在所述预设范围内的文本中抽取所述预设类型的数据；和/或，针对所述预设类型的数据，对所述HTML文本进行全文检索，以便在所述HTML文本中抽取所述预设类型的数据。

其中，所述预设类型的数据包括：标题数据、内容数据、时间数据、来源数据和/或发布者数据。

其中，所述在所述预设范围内的文本中抽取预设类型的数据，包括：如果在预设范围内的文本中，抽取到多个符合预设条件的时间数据，则利用预设的时间关键词对每个所述时间数据进行评分，保留评分最高的时间数据。

其中，在所述生成结构化数据之前，所述方法还包括：在抽取到所述时间数据之后，对所述时间数据进行时区转换。

其中，所述根据预设的内容抽取规则，在所述HTML文本中抽取预设类型的数据，包括：在所述HTML文本中，提取元信息META元素节点列表；在所述META元素节点列表中，查询来源描述节点，并在所述来源描述节点抽取来源数据。

其中，所述根据预设的内容抽取规则，在所述HTML文本中抽取预设类型的数据，包括：在所述HTML文本中，检索预设的来源关键字；根据所述来源关键字所在的位置，抽取来源数据。

其中，所述在所述HTML文本中，检索预设的来源关键字，包括：在所述HTML文本的预设位置，检索预设的来源关键字。

本发明提供了一种数据抽取设备，所述数据抽取设备包括处理器、存储器；所述处理器用于执行所述存储器中存储的数据抽取程序，以实上述的数据抽取方法。

本发明提供了一种计算机可存储介质，所述计算机可存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述的数据抽取方法。

本发明有益效果如下：