[发明专利]一种用于异构多数据源的数据处理方法、装置和服务器

权利要求书

1.一种用于异构多数据源的数据处理方法，其特征在于，包括：

基于约定的数据接入方式和数据元信息的类型，接入来自多个数据生产系统的多个异构数据源；

对已接入的数据元信息的类型进行注册；

当接收到数据消费系统提交的数据复制请求时，按照该数据复制请求从对应的数据生产系统中提取所需数据，并对提取出的数据进行加工处理；

按照数据消费系统要求的数据写入方式，将加工处理后的数据推送至数据消费系统中的目标存储介质；

其中，数据复制请求中包含数据消费系统需要的数据元信息类型、数据加工规则和数据写入方式，其中所述数据加工规则根据已注册的数据元信息类型和数据消费系统所需的目标数据设计得到，所述数据加工规则根据已有的基础数据处理算子以及可扩展的用户自定义数据处理算子定制。

2.如权利要求1所述的用于异构多数据源的数据处理方法，其特征在于，其中所述接入方式包括数据推送和数据抽取。

3.如权利要求1或2所述的用于异构多数据源的数据处理方法，其特征在于，其中数据元信息的类型包括：接入信息描述和字段信息，其中字段信息包括：字段名、字段类型、是否可为空、最大长度和字段描述。

4.一种数据消费接入处理方法，其特征在于，包括：

从服务器查询已注册的数据元信息类型；

根据已注册的数据元信息类型和本系统需要的目标数据，设计所需的数据加工规则，并创建数据复制请求，其中数据复制请求中包含本系统需要的数据字段、数据加工规则和数据写入方式；所述数据加工规则根据已有的基础数据处理算子以及可扩展的用户自定义数据处理算子定制；

向服务器提交数据复制请求；

按照数据复制请求中规定的数据写入方式，接收服务器推送的数据，并将数据存储在目标存储介质中。

5.一种用于异构多数据源的数据处理装置，其特征在于，包括：

数据生产接入模块，用于基于约定的数据接入方式和数据元信息的类型，接入来自多个数据生产系统的多个异构数据源；

元数据管理模块，用于对已接入的数据元信息的类型进行注册；

数据复制模块，用于当接收到数据消费系统提交的数据复制请求时，按照该数据复制请求从对应的数据生产系统中提取所需数据，并对提取出的数据进行加工处理；

数据推送模块，用于按照数据消费系统要求的数据写入方式，将加工处理后的数据推送至数据消费系统的目标存储介质中；

其中，数据复制请求中包含数据消费系统需要的数据元信息类型、数据加工规则和数据写入方式，其中所述数据加工规则根据已注册的数据元信息类型和数据消费系统所需的目标数据设计得到，所述数据加工规则根据已有的基础数据处理算子以及可扩展的用户自定义数据处理算子定制。

6.如权利要求5所述的用于异构多数据源的数据处理装置，其特征在于，其中所述接入方式包括数据推送和数据抽取。

7.如权利要求5或6所述的用于异构多数据源的数据处理装置，其特征在于，其中数据元信息的类型包括：接入信息描述和字段信息，其中字段信息包括：字段名、字段类型、是否可为空、最大长度和字段描述。

8.一种数据消费接入处理装置，其特征在于，包括：

数据元信息查询模块，用于从服务器查询已注册的数据元信息类型；

复制请求创建模块，用于根据已注册的数据元信息类型和本系统需要的目标数据，设计所需的数据加工规则，并创建数据复制请求，其中数据复制请求中包含本系统需要的数据字段、数据加工规则和数据写入方式；所述数据加工规则根据已有的基础数据处理算子以及可扩展的用户自定义数据处理算子定制；

复制请求提交模块，用于向服务器提交数据复制请求；

数据接收模块，用于按照数据复制请求中规定的数据写入方式，接收服务器推送的数据，并将数据存储在目标存储介质中。

9.一种服务器，其特征在于，所述服务器包括如权利要求5-7中任一项所述的用于异构多数据源的数据处理装置。