[发明专利]分布式数据采集和数据交换系统

说明书

本发明公开了一种分布式数据采集和数据交换系统。本发明中，流程组件与模板、任务调度模块做为数据采集和数据交换的公共支撑基础服务，流程组件与模板提供同时支持创建数据采集和数据交换的流程，提供公共组件和支持各自特征的组件；任务调度模块提供数据采集和数据交换任务的统一调度管理；数据处理模块提供对数据采集模块和数据交换模块涉及的数据流提供多重规则叠加的处理机制；数据质量监控模块和数据质量评估分析模块监控数据采集和数据交换流程过程中的数据质量。本发明提供一套使数据采集和数据交换流程定义更为简单且高效，数据流分流且支持多重叠加数据处理机制，数据质量有保障的分布式数据采集和数据交换系统。

技术领域

本发明属于数据处理技术领域，具体为分布式数据采集和数据交换系统。

背景技术

软件应用日趋覆盖各行各业，软件系统产生大量应用数据，数据间如何有效处理尤其大数据量的数据如何处理及共用共享成为必要需求。现有技术已存在各种数据采集或数据交换的支撑系统，但长期存在易用性问题，在用户层来说存在自定义数据采集和数据交换流程难度较大的问题，在逻辑处理层来说存在数据采集和数据交换如何有效组织共用一套系统的问题，数据处理层面无法支持行之有效的多层处理机制的问题，数据质量层面无法保障交换和采集的数据质量问题。当业务内数据量积累，组织机构逐渐扩大的情况下，不同组织机构和业务间数据采集、数据处理、数据交换及共享的问题在现有技术下无法满足。

发明内容

本发明的目的在于提供分布式数据采集和数据交换系统，用于解决对上述现有技术存在的问题。

本发明采用的技术方案如下：分布式数据采集和数据交换系统，包括：

1.流程组件与模板定义数据采集的流程和数据交换的流程，提供图形拖放设计流程，通过配合配置组件的参数和组件流转的条件共同组成流程自定义，流程组件提供两种大类，支持数据采集流程定义的组件、支持数据交换流程定义的组件和两类共用的流程组件。

2.任务调度模块提供数据采集任务和数据交换任务的统一调度管理，支持实时、周期、定期、自动触发方式调度任务。

3.数据采集模块，采集数据支持多种方式采集，接口类型，数据库类型，爬虫类型，文件类型，其中接口支持get、post、patch接口请求方式，数据库支持Mysql、MangoDB、SQLServer、Oracle，爬虫支持网络爬虫、本地爬虫，文件支持模板文件和非模板文件。接口以请求地址、请求方式、请求参数组成，参数支持加密处理，数据库以数据源、数据库类型、数据表及字段、加密传输组成，爬虫提供爬虫流程设计器方式，通过组件拖曳定义爬虫，避免了传统的爬虫痛点，文件以模板文件和非模板文件组成，文件支持单文件和多文件形式。

4.数据处理模块对采集数据处理，数据规则管理、数据脱敏、数据清洗处理。数据规则支持常见的数据规则和针对系统业务自定义符合业务的质量规则，主要以正则表达式定义实现，常见的规则如身份证校验规则、国内手机号校验规则、IP地址校验规则、时间校验规则、URL网址校验规则，根据业务自定义的数据脱敏类型如sign_code(标牌码)、parkCode(停车场编号)、management_code(机构许可证)，这些规则根据数据处理机制的数据路由执行对应标识，在数据流处理过程中依次得以叠加处理，支持多选。

5.数据源数据支持多种数据源类型，支持http接口、MQ中间件、kafka将数据源数据转换为数据流，通过数据路由中的数据流节点处理，最后输出处理后的数据。数据路由中的节点可叠加处理即某数据流节点1根据数据规则A处理后流入数据流节点2，根据数据脱敏规则B处理后流入数据流节点3，数据流节点3根据数据清洗规则C处理，最终输出处理后的数据。

6.采集并处理过后的数据进入不同分类的业务数据库。

7.流程组件与模板定义数据交换流程后，任务调度模块根据任务设置执行交换任务，数据交换支持接口、同数据采集中支持的数据库并包括数据采集后的建立的业务数据库。