[发明专利]一种分布式数据管理系统

权利要求书

1.一种分布式数据管理系统，其特征在于，包括URL动态调配模块、反爬策略调度模块、数据标记解析模块、数据格式化模块；

所述的URL动态调配模块，通过数据配置信息生成URL种子库；

所述的反爬策略调度模块，实现了4道反爬取对抗的功能；

所述的数据标记解析模块，负责对信息路径进行解析，并标记web数据；

所述的数据格式化模块，负责将处理后的时间信息存入数据库中。

2.根据权利要求1所述的URL动态调配模块，其特征在于，规避程序爬取重复，提高数据采集效率。

3.根据权利要求1所述的反爬策略调度模块，其特征在于，解决了IP封禁问题，利用IP代理池功能，抓取数据。

4.根据权利要求1所述的数据标记解析模块，其特征在于，扩大可针对数据面，精确提取目标数据。

5.根据权利要求1所述的数据格式化模块，其特征在于，可直接读取数据进行分析，提升数据格式化处理及系统分析处理效率。