[发明专利]语料库构建方法、装置、电子设备及介质

说明书

本发明涉及大数据，提供一种语料库构建方法，能够确定语料库构建指令所指示的领域，确定与领域对应的目标网页并获取所有DIV标签，确定候选标签并检测候选标签中的文字数量是否小于相应阈值，相应阈值为候选标签所属的网页的文字总数量与预设比例的乘积，当候选标签中的文字数量小于相应阈值时，根据相应阈值确定候选标签的目标父标签，目标父标签的文字数量大于或者等于相应阈值，获取目标父标签中的所有子标签，基于超链接文字密度及停用词密度，从所有子标签中确定目标父标签对应的目标子标签，获取目标子标签中的文本信息，根据文本信息，生成语料库，能够生成精确的语料库。本发明还涉及区块链技术，所述语料库存储于区块链中。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种语料库构建方法、装置、电子设备及介质。

背景技术

目前，在训练特定领域的自然语言模型时，往往需要大量文本语料，例如，娱乐领域的娱乐新闻语料。然而，由于训练模型所需的语料量较大，人工方式采集语料所花费的人力成本较高，因此，自动化语料采集方案应运而生。

在现有的自动化语料采集方案中，通过从特定页面上抽取正文进而完成语料的采集，然而，现有技术方案难以判断网页内容属于正文还是非正文，因此无法在特定页面上精确地确定正文区域，进而导致生成的语料库中含有非正文内容。

因此，如何构建精确的语料库，成了有待解决的技术问题。

发明内容

鉴于以上内容，有必要提供一种语料库构建方法、装置、电子设备及介质，能够生成精确的语料库。

一种语料库构建方法，所述方法包括：

当接收到语料库构建指令时，从所述语料库构建指令中确定所述语料库构建指令所指示的领域；

确定与所述领域对应的目标网页；

获取所述目标网页的所有DIV标签；

从所述所有DIV标签中确定候选标签；

检测所述候选标签中的文字数量是否小于相应阈值，其中，所述相应阈值为所述候选标签所属的目标网页的文字总数量与预设比例的乘积；

当所述候选标签中的文字数量小于所述相应阈值时，根据所述相应阈值确定所述候选标签的目标父标签，其中，所述目标父标签的文字数量大于或者等于所述相应阈值；

获取所述目标父标签中的所有子标签；

基于超链接文字密度及停用词密度，从所述所有子标签中确定所述目标父标签对应的目标子标签；

获取所述目标子标签中的文本信息；

根据所述文本信息，生成语料库。

根据本发明优选实施例，所述确定与所述领域对应的目标网页包括：

确定所述领域对应的网站，并将所述网站作为种子链接；

获取预设的爬取深度、并行通信数及访问时间间隔；

根据所述爬取深度、所述并行通信数及所述访问时间间隔对所述种子链接进行爬取，得到多个网页；

确定所述领域的标识，所述标识表征所述目标网页；

根据所述标识筛选所述多个网页，得到所述目标网页。

根据本发明优选实施例，所述获取所述目标网页的所有DIV标签包括：

通过超文本传输协议请求所述目标网页，得到所述目标网页的应答报文；

采用UTF-8技术解码所述应答报文，得到所述目标网页的源代码；

根据所述源代码生成所述目标网页对应的文档对象模型；