[发明专利]一种用于异构多数据源的数据处理方法、装置和服务器

说明书

本发明公开了一种用于异构多数据源的数据处理方法，包括：基于约定的数据接入方式和数据元信息的类型，接入来自多个数据生产系统的多个异构数据源；对已接入的数据元信息的类型进行注册；当接收到数据消费系统提交的数据复制请求时，按照该数据复制请求从对应的数据生产系统中提取所需数据，并对提取出的数据进行加工处理，按照数据消费系统要求的数据写入方式，将加工处理后的数据推送至数据消费系统中的目标存储介质；其中，数据复制请求中包含数据消费系统需要的数据元信息类型、数据加工规则和数据写入方式。本发明还公开了一种用于异构多数据源的数据处理装置和服务器。利用本发明能够将系统中的数据生产与数据消费解耦。

技术领域

本发明涉及数据处理技术，具体涉及一种用于异构多数据源的数据处理方法、装置和服务器。

背景技术

随着互联网应用的高速发展，人们对数据库的访问逻辑越来越简单，对事务的一致性要求越来越松弛，CAP理论(指在设计分布式系统时，一致性(Consistent)、可用性(Availability)、Partition Tolerance(分区容忍性)三个属性不可能同时满足，也称为布鲁尔定理)中常常更倾向于放弃C，而追求A和P，对数据库高并发高可用需求也越来越高，这在系统架构中经常采用的方式是拆分，将大系统划分为若干独立子系统，可支持更高的并发和更高的可用性。这些子系统产生的数据会被各种系统所使用，如后台系统、业务方系统、分析平台以及其它需要使用这些数据的应用项目等，在应用过程中，不同的数据使用方可能有不同的需求，对数据字段的定义要求不同，对数据的实时性要求不同，数据的使用范围也不同，并且出于安全考虑，不同数据提供的可见性也不同。

常见的系统平台采用数据库主从同步的方式调度数据，数据生产方将数据写入一个主库中，数据使用方通过丛库读取数据。但是，在处理异构多数据源时这种方式存在弊端，由于所有的数据使用方可以看到全部数据，导致数据安全性较低，由于数据库中表的设计一般都是按生产者的意愿建立的，难以满足不同使用方的使用需求，并且由于数据的耦合性较高，当数据使用方较多时，数据的管理和维护变的困难。

发明内容

有鉴于此，本发明提出一种用于异构多数据源的数据处理方法、装置和服务器，可将系统中的数据生产与数据消费解耦。

本发明提供一种用于异构多数据源的数据处理方法，包括：基于约定的数据接入方式和数据元信息的类型，接入来自多个数据生产系统的多个异构数据源；对已接入的数据元信息的类型进行注册；当接收到数据消费系统提交的数据复制请求时，按照该数据复制请求从对应的数据生产系统中提取所需数据，并对提取出的数据进行加工处理；按照数据消费系统要求的数据写入方式，将加工处理后的数据推送至数据消费系统的目标存储介质中；其中，数据复制请求中包含数据消费系统需要的数据元信息类型、数据加工规则和数据写入方式。

优选地，其中接入方式包括数据推送和数据抽取。

优选地，其中数据元信息的类型包括：接入信息描述和字段信息，其中字段信息包括：字段名、字段类型、是否可为空、最大长度和字段描述。

本发明还提供一种数据生产接入处理方法，包括：基于约定的数据接入方式和数据元信息的类型，将本地数据接入服务器；将已接入的数据元信息的类型注册到服务器中；当服务器提取数据时，按照约定的数据接入方式进行数据提取。

本发明还提供一种数据消费接入处理方法，包括：从服务器查询已注册的数据元信息类型；根据已注册的数据元信息类型和本系统需要的目标数据，设计所需的数据加工规则，并创建数据复制请求，其中数据复制请求中包含本系统需要的数据字段、数据加工规则和数据写入方式；向服务器提交数据复制请求；按照数据复制请求中规定的数据写入方式，接收服务器推送的数据，并将数据存储在目标存储介质中。