[发明专利]一种大数据流转方法、装置、电子设备及存储介质

说明书

本发明提供一种大数据流转方法、装置、电子设备及存储介质，若与预设调度时间对应的数据流转任务的数据流转方向为数据抽取，从数据抽取配置信息指示的源数据库中，抽取相应的数据至数据抽取配置信息指示的Hadoop数据库中相应的第一目标数据表；根据数据抽取转换配置规则和数据抽取配置信息对第一目标数据表进行数据重组；若为数据推送，根据与数据流转任务匹配的数据推送配置信息和数据推送转换配置规则，对数据推送配置信息指示的Hadoop数据库中相应的第二目标数据表进行数据重组后，将其数据推送至相应的源数据库中相应的源数据表。本发明可以实现数据在Hadoop与关系型数据库之间快速、高效的流转。

技术领域

本发明涉及大数据技术领域，更具体地说，涉及一种大数据流转方法、装置、电子设备及存储介质。

背景技术

随着大数据时代到来，以互联网为代表的现代信息科技正从根本上改变着传统银行经营模式。数据海量化、多样化、传输快速化和价值化等特征，已给商业银行市场竞争带来了全新的挑战，构建以云计算、大数据为核心的多样化的生态系统已是当务之急。Hadoop凭借其低廉的软硬件成本、强大的并行计算能力，提供了商业银行大数据解决方案。虽然Hadoop存储数据有很多优势，但是在Hadoop与关系型数据库之间仍难以实现数据快速、高效的流转。

因此，如何提供一种数据流转方法，以实现数据在Hadoop与关系性数据库之间快速、高效的流转，是本申请亟需解决的问题。

发明内容

有鉴于此，本发明提供一种大数据流转方法、装置、电子设备及存储介质，以实现数据在Hadoop与关系性数据库之间快速、高效的流转为目的。

本发明第一方面公开一种大数据流转方法，所述方法包括：

当达到预设调度时间时，获取与所述预设调度时间对应的数据流转任务，其中，所述数据流转任务携带有数据流转任务编号；

判断所述数据流转任务的数据流转方向是否为数据抽取，或者为数据推送；

若所述数据流转任务的数据流转方向为数据抽取，获取与所述数据流转任务编号匹配的数据抽取配置信息；

从所述数据抽取配置信息指示的源数据库中，抽取相应的数据至所述数据抽取配置信息指示的Hadoop数据库中相应的第一目标数据表；

获取与所述数据抽取配置信息匹配的数据抽取转换配置规则，并根据所述数据抽取转换配置规则和所述数据抽取配置信息对所述第一目标数据表进行数据重组；

若所述数据流转任务的数据流转方向为数据推送，获取与所述数据流转任务编号匹配的数据推送配置信息，以及获取与所述数据推送配置信息匹配的数据推送转换配置规则；

根据所述数据推送转换配置规则和所述数据推送配置信息，对所述数据推送配置信息指示的Hadoop数据库中相应的第二目标数据表进行数据重组，并将其对应的数据推送至所述数据推送信息指示的源数据库中的相应的源数据表中。

可选的，所述数据抽取配置信息包括数据库抽取配置信息和数据表抽取配置信息，所述从所述数据抽取配置信息指示的源数据库中，抽取相应的数据至所述数据抽取配置信息指示的Hadoop数据库中相应的第一目标数据表，包括：

从所述数据库抽取配置信息指示的源数据库中，抽取所述数据表抽取配置信息指示的源数据表中的数据至所述数据库抽取配置信息指示的Hadoop数据库中所述数据表抽取配置信息指示的第一目标数据表。

可选的，所述获取与所述数据抽取配置信息匹配的数据抽取转换配置规则；并根据所述数据抽取转换配置规则和所述数据抽取配置信息对所述第一目标数据表进行数据重组，包括：

获取与所述数据抽取配置信息匹配的数据抽取转换配置规则，所述数据抽取转换配置规则包括多种数据处理方式；