[发明专利]一种数据集成化处理方法

说明书

本发明公开了一种数据集成化处理方法，利用包括但不限于Zookeeper、nginx、Kafka、Redis、MongoDB和关系数据库，构建消息处理和存储分析，通过适配器对数据进行集成处理，具体包括定义消息集，将所有消息统一归属为一个消息集分类；定义消息源，用于消息的主动获取来源和发送目的地；定义消息，定义消息的入向、出向和应答。本发明基于软件系统，满足系统集成的功能性管理,同时满足数据集成方式、数据模型多变特性和对于未来企业海量数据的储存需求，降低企业数字化建设成本和管理成本，并且提高管理效率。

技术领域

本发明涉及一种信息数字化领域，特别涉及一种数据集成化处理方法。

背景技术

当前企业的普遍在顺应数字化发展的趋势进行数字化转型，为未来企业智能化提供基础设施。

但是在在此过程中普遍存在企业内部信息孤岛现象严重，目前， EAI（Enterprise Application Integration，企业应用集成）主要用于将企业内部不同系统之间建立起无缝集成，使得不同系统在企业内部像一个整体，现有EAI技术主要着重与具体需求功能的开发实现，缺乏对接口实现过程的重复利用和监控管理，开发工作量较大，对于系统使用者的技术要求较高，配置文件保存配置信息，实现过程基本需要大量的二次开发来满足。系统对运维人员依赖和二次开发的技术要求较高，对数据没有做系统沉淀，不能为后续的数据应用提供数据基础。

EDI（Electronic data interchange，缩写EDI）主要是指示按照通用标准格式，将信息通过通信网络传输在贸易伙伴的系统之间进行数据交换和自动处理，一般用于按照行业制定标准通用格式，相关企业按照该统一的规范交换信息代替纸面单证，如海关、贸易、运输等， 实际应用场景中的EDI处理往往需要跟EAI联动处理，传统的EDI应用系统主要注重EDI的收发和解析功能，对于EDI到业务系统的应用主要通过具体的开发实现，增加了EDI对接的复杂性和实现周期。

ESB全称为Enterprise Service Bus，即企业服务总线。它是传统中间件技术与XML、Web服务等技术结合的产物。

ESB提供了网络中最基本的连接中枢，是构筑企业神经系统的必要元素，是一种在松散耦合的服务和应用之间标准的集成方式。

但是，传统的ESB总线一般基于XML和WebService 实现，难以满足当前系统服务的多样化需求，企业ESB实现过程中构建成本较高，传统ESB难以满足当前海量数据的支撑，不能满足当前微服务的发展方向。

企业级API 为企业内部各系统提供统一的API服务管理，构建企业内部服务API化， 现有企业API管理平台更注重于企业API的管理和服务功能，缺少对于API的业务功能实现的持续支持和动态调整功能，导致线上环境的的业务功能不能实时动态调整。

故而，急迫需要一个统一集成处理方法来打通企业内部各业务系统及外部系统之间的信息通道，既要满足企业在数字化时代的信息快速变化又要提供统一数据管理。

发明内容

本发明为解决上述问题，提供一种数据集成化处理方法，满足系统集成的功能性管理,同时满足数据集成方式、数据模型多变特性和对于未来企业海量数据的储存需求，降低企业数字化建设成本和管理成本，并且提高管理效率。

为达到上述目的，本发明采用的技术方案是：一种数据集成化处理方法，利用包括但不限于Zookeeper、nginx、Kafka,、Redis,、MongoDB和关系数据库，构建消息处理和存储分析，通过适配器对数据进行集成处理，具体包括如下步骤：

S1、定义消息集，将所有消息统一归属为一个消息集分类；

S2、定义消息源，用于消息的主动提取和写入；

S3、定义消息，定义消息的入向、出向和应答。