[发明专利]海量网络数据处理系统及其的构建方法、装置

权利要求书

1.一种海量网络数据处理系统的构建方法，其特征在于，包括：

对数据下载模块中的下载方式及下载任务的调度进行配置；

对文本提取模块中配置以网络文本的一行为单位进行预设语言类型的文本提取；

对文本过滤模块的过滤策略进行配置，所述过滤策略根据首位标点及末尾标点、控制符、出现预设敏感词汇的占比、文本总长度中的至少一种生成；

对去重模块中的去重策略进行配置，所述去重策略采用先局部去重，再整体二次去重的方式；

对数据筛选模块中的筛选策略进行配置，所述筛选策略根据文本困惑度得到；

对文本格式处理模块中的文本数据格式进行配置；

根据所述数据下载模块、所述文本提取模块、所述文本过滤模块、所述去重模块、所述数据筛选模块、所述文本格式处理模块的配置，以完成所述数据处理系统的构建。

2.根据权利要求1所述的构建方法，其特征在于，所述对数据下载模块中的下载方式及下载任务的调度进行配置包括：

配置多设备节点并行下载，并对下载任务进行统一调度管理；

配置所述下载任务对应的下载路径，及配置下载后的数据存储格式，所述数据存储格式根据具体的任务需求进行选择。

3.根据权利要求1所述的构建方法，其特征在于，所述对文本提取模块中配置以网络文本的一行为单位进行预设语言类型提取包括：

配置所述文本提取模块对网络文本按照一行为单位进行分割处理，得到至少一个文本单元；分别检测每个文本单元中的总字符长度，以及分别检测每个文本单元中的预设语言类型字符长度；

若同一文本单元内的所述预设语言类型字符长度与所述总字符长度之间的比值，超过目标预设语言类型占比阈值，则保留当前文本单元内的所有字符。

4.根据权利要求1所述的构建方法，其特征在于，所述对文本过滤模块的过滤策略进行配置包括：

配置所述文本过滤模块的第一过滤策略，所述第一过滤策略为根据首位标点及末尾标点进行数据过滤；

配置所述文本过滤模块的第二过滤策略，所述第二过滤策略为根据控制符进行过滤；

配置所述文本过滤模块的第三过滤策略，所述第三过滤策略为根据出现预设敏感词汇的占比进行过滤；

配置所述文本过滤模块的第四过滤策略，所述第四过滤策略为根据文本总长度进行过滤；

在所述文本过滤模块中可选用所述第一过滤策略、第二过滤策略、第三过滤策略及第四过滤策略中的至少一种执行数据过滤。

5.根据权利要求1所述的构建方法，其特征在于，所述对去重模块中的去重策略进行配置包括：

配置所述去重模块中的去重策略为：对所述网络文本数据划分得到至少一个数据段，并分别在每个数据段内执行一次去重；

根据一次去重后的数据与预设参考数据库内的数据进行二次去重处理。

6.根据权利要求1所述的构建方法，其特征在于，所述对文本格式处理模块中的文本数据格式进行配置包括：

根据待输入目标训练模型的数据格式，对文本格式处理模块中的文本数据格式进行配置。

7.根据权利要求1-6中任一项所述的构建方法，其特征在于，所述方法还包括：

根据目标任务需求选择所述数据处理系统中，所述文本提取模块、所述文本过滤模块、所述去重模块、所述数据筛选模块中的至少一个模块执行对待处理文本数据进行处理。