[发明专利]分布式数据采集和数据交换系统

权利要求书

1.分布式数据采集和数据交换系统，其特征在于，包括：

流程组件与模板和任务调度模块，用于提供分布式数据采集和数据交换的基础公共支撑服务；

数据采集模块和交换模块，用于提供数据采集控制hub和数据采集node实现分布式数据采集，数据交换控制hub和数据交换node实现分布式数据交换；

数据处理模块，用于提供数据处理机制和实现对数据的处理；

数据共享模块，用于系统内跨业务、不同系统跨系统、跨应用间的数据共享；

数据质量监控和数据质量评估分析模块，用于对数据数据和数据交换过程中数据质量提供保障。

2.如权利要求1所述的分布式数据采集和数据交换系统，其特征在于，所述流程组件与模块，用于提供图形拖放设计流程方式，通过组件、组件的参数和组件流转的条件共同组成流程自定义过程，流程组件提供两大类：支持数据采集流程定义的组件、支持数据交换流程定义的组件，数据采集和数据交换可共用的组件。

3.如权利要求1所述的分布式数据采集和数据交换系统，其特征在于，所述采集模块，支持多种方式的数据采集：接口类型、数据库类型、爬虫类型、文件类型，其中接口支持get、post、patch接口请求方式，数据库支持Mysql、MangoDB、SQLServer、Oracle，爬虫支持网络爬虫、本地爬虫，文件支持模板文件和非模板文件。

4.如权利要求1所述的分布式数据采集和数据交换系统，其特征在于，所述采集模块，支持的多种采集类型中，具体包括：接口以请求地址、请求方式、请求参数组成，参数支持加密处理，数据库以数据源、数据库类型、数据表及字段、加密传输组成，爬虫以爬虫流程设计器方式，通过组件拖曳定义爬虫，文件以模板文件和非模板文件组成，文件支持单文件和多文件形式。

5.如权利要求1所述的分布式数据采集和数据交换系统，其特征在于，所述数据处理模块，具体用于对传入的数据源数据转换、数据流路由处理、输出处理后的数据，其中数据源支持多种数据源数据类型，数据源数据转换支持http接口、MQ中间件、kafka形式将数据源数据转换为数据流，数据路由中的数据流节处理数据支持多规则叠加处理机制。

6.如权利要求1所述的分布式数据采集和数据交换系统，其特征在于，所述数据处理模块，数据路由中的数据流支持多重规则叠加处理机制，数据处理规则具体包括：数据规则、数据脱敏、数据清洗，提供常见的数据规则和针对系统业务自定义符合业务的数据规则；数据规则叠加处理机制具体为如：数据路由中的数据流节点1根据数据规则A处理后流入数据流节点2，根据数据脱敏规则B处理后流入数据流节点3，数据流节点3根据数据清洗规则C处理。

7.如权利要求1所述的任务调度模块，用于配置和调度流程组件与模板中创建的数据采集流程、数据交换流程或数据采集+数据交换流程的任务，任务调度方式支持实时、周期、定期、自动触发方式调度任务，任务执行可是单任务执行，也可是批量任务执行。

8.如权利要求1所述的分布式数据采集和数据交换系统，其特征在于，所述数据共享模块，基于数据采集和数据交换，用于提供对业务系统中不同分权及业务部门间的数据共享和对外开放数据的功能，支持第三方对数据的采集和使用，数据共享使用应用密钥加密分享保障数据安全。