[发明专利]跨数据库的数据接入方法、装置、计算机设备及存储介质

说明书

本发明涉及一种跨数据库的数据接入方法、装置、计算机设备及存储介质。该方法包括：获取用户输入的配置参数，所述配置参数包括源数据库地址、目标数据库地址、接入类型信息；根据所述接入类型信息和所述源数据库地址获取源数据库对应的参考信息，所述参考信息用于确定所述源数据库的数据接入工具；所述参考信息包括从源数据库中获取的数据表信息或者所述源数据库中的文件类型；根据所述参考信息和预设的路由规则库，确定所述数据接入工具，并根据所述数据接入工具和所述目标数据库地址，将所述源数据库的数据接入至目标数据库；其中，所述路由规则库中包括不同的参考信息与数据接入工具之间的对应关系。利用该方法可以降低使用成本。

技术领域

本发明涉及互联网技术领域，特别是涉及一种跨数据库的数据接入方法、装置、计算机设备及存储介质。

背景技术

目前，把一个企业的数据从源数据库中转移到目的数据库中进行存储或计算时，需要使用数据接入工具来进行转移。当企业使用多种源数据库时，就需要使用多种接入工具将多种源数据库中的数据接入至目标数据库。

传统技术中，目标数据库从不同的源数据库中接入数据时，其根据不同的数据库以及实时还是离线的情况，可以选择使用不同的接入工具来分别接入数据。例如：使用DataX和Sqoop等数据接入工具，可以离线接入Mysql、Oracle等数据库中的数据；使用Canal等数据接入工具可以接入实时增量数据等。

但是上述数据接入方法在接入数据时，需要用户对每个接入工具的配置信息非常熟悉，其对用户专业知识要求较高；同时在需要切换不同的接入工具时，只能人工来接入，导致该接入方法的使用成本增大。

发明内容

基于此，有必要针对上述传统技术需要人工接入，其对用户专业知识要求较高，且人工接入导致使用成本增大的问题，提供一种跨数据库的数据接入方法、装置、计算机设备及存储介质。

一种跨数据库的数据接入方法，所述方法包括：

获取用户输入的配置参数，所述配置参数包括源数据库地址、目标数据库地址、接入类型信息；

根据所述接入类型信息和所述源数据库地址获取源数据库对应的参考信息，所述参考信息用于确定所述源数据库的数据接入工具；所述参考信息包括从源数据库中获取的数据表信息或者所述源数据库中的文件类型；

根据所述参考信息和预设的路由规则库，确定所述数据接入工具，并根据所述数据接入工具和所述目标数据库地址，将所述源数据库的数据接入至目标数据库；其中，所述路由规则库中包括不同的参考信息与数据接入工具之间的对应关系。

在其中一个实施例中，所述配置参数还包括源数据库权限信息；所述根据所述接入类型信息和所述源数据库地址获取源数据库对应的参考信息，包括：

根据所述接入类型信息确定所述源数据库的接入类型；

若所述接入类型为离线接入，则根据所述源数据库权限信息和所述源数据库地址，从所述源数据库中获取所述数据表信息；

若所述接入类型为实时接入，则根据所述源数据库地址获取所述源数据库中的文件类型，所述文件类型包括日志文件或者数据文件。

在其中一个实施例中，所述根据所述源数据库权限信息和所述源数据库地址，从所述源数据库中获取所述数据表信息，包括：

根据所述源数据库地址，判断所述源数据库权限信息是否与所述源数据库中预设的合法权限信息匹配；

若匹配，则从所述源数据库中获取所述数据表信息。

在其中一个实施例中，所述数据表信息包括：所述源数据库的类型、所述源数据库的数据量、所述源数据库有无主键、所述源数据库的文件格式中的至少一种。