[发明专利]一种大数据流转方法、装置、电子设备及存储介质

权利要求书

1.一种大数据流转方法，其特征在于，所述方法包括：

当达到预设调度时间时，获取与所述预设调度时间对应的数据流转任务，其中，所述数据流转任务携带有数据流转任务编号；

判断所述数据流转任务的数据流转方向是否为数据抽取，或者为数据推送；

若所述数据流转任务的数据流转方向为数据抽取，获取与所述数据流转任务编号匹配的数据抽取配置信息；

从所述数据抽取配置信息指示的源数据库中，抽取相应的数据至所述数据抽取配置信息指示的Hadoop数据库中相应的第一目标数据表；

获取与所述数据抽取配置信息匹配的数据抽取转换配置规则，并根据所述数据抽取转换配置规则和所述数据抽取配置信息对所述第一目标数据表进行数据重组；

若所述数据流转任务的数据流转方向为数据推送，获取与所述数据流转任务编号匹配的数据推送配置信息，以及获取与所述数据推送配置信息匹配的数据推送转换配置规则；

根据所述数据推送转换配置规则和所述数据推送配置信息，对所述数据推送配置信息指示的Hadoop数据库中相应的第二目标数据表进行数据重组，并将其对应的数据推送至所述数据推送信息指示的源数据库中的相应的源数据表中。

2.根据权利要求1的方法，其特征在于，所述数据抽取配置信息包括数据库抽取配置信息和数据表抽取配置信息，所述从所述数据抽取配置信息指示的源数据库中，抽取相应的数据至所述数据抽取配置信息指示的Hadoop数据库中相应的第一目标数据表，包括：

从所述数据库抽取配置信息指示的源数据库中，抽取所述数据表抽取配置信息指示的源数据表中的数据至所述数据库抽取配置信息指示的Hadoop数据库中所述数据表抽取配置信息指示的第一目标数据表。

3.根据权利要求2的方法，其特征在于，所述获取与所述数据抽取配置信息匹配的数据抽取转换配置规则；并根据所述数据抽取转换配置规则和所述数据抽取配置信息对所述第一目标数据表进行数据重组，包括：

获取与所述数据抽取配置信息匹配的数据抽取转换配置规则，所述数据抽取转换配置规则包括多种数据处理方式；

根据所述数据抽取转换配置规则中的各种所述数据处理方式和所述数据表抽取配置信息对所述第一目标数据表进行数据重组。

4.根据权利要求1所述的方法，其特征在于，所述数据推送配置信息包括数据库推送配置信息和数据表推送配置信息，所述根据所述数据推送转换配置规则和所述数据推送配置信息，对所述数据推送配置信息对所述数据推送配置信息指示的Hadoop数据库中相应的第二目标数据表进行数据重组，并将其对应的数据推送至所述数据推送信息指示的源数据库中的相应的源数据表中，包括：

根据所述数据推送转换配置规则指示的各种所述数据处理方式和所述数据表推送配置信息，对所述数据库推送配置信息指示的Hadoop数据库中所述数据表推送配置信息指示的第二目标数据表进行数据重组；

将进行数据重组后的所述第二目标数据表中的数据推送至所述数据库推送配置信息指示的源数据库中所述数据表推送配置信息指示的源数据表中。