[发明专利]数据处理方法、装置、服务器和存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取用户的数据同步请求，所述数据同步请求用于指示将第一数据源中的待处理数据同步至第二数据源，所述第一数据源和所述第二数据源为不同的异构数据源；

根据所述第一数据源和所述第二数据源，从预置的配置文件中读取相应的目标数据传输插件，所述配置文件中存储有至少一个数据传输插件，所述数据传输插件包括：两个数据源的基本信息，所述基本信息包括：用户名、密码和所述数据源的域名；

根据所述目标数据传输插件和用户输入的参数信息，将所述第一数据源中的待处理数据传输至所述第二数据源中，所述参数信息用于指示将所述第一数据源中待处理数据传输至所述第二数据源的传输参数。

2.根据权利要求1所述的方法，其特征在于，在所述从预置的配置文件中读取相应的目标数据传输插件之前，所述方法还包括：

获取至少两个数据源的基本信息；

根据所述至少两个数据源的基本信息，生成至少一个数据传输插件；

将所述至少一个数据传输插件存储至所述配置文件中。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述目标数据传输插件和用户输入的参数信息，将所述第一数据源中的待处理数据传输至所述第二数据源中，包括：

根据所述目标数据传输插件和用户的需求信息，生成数据传输的Json配置文本；

调用异构数据源离线同步工具，执行所述Json配置文本，将所述第一数据源中的待处理数据传输至所述第二数据源中。

4.根据权利要求1或2所述的方法，其特征在于，所述参数信息包括：所述第一数据源的传输参数；

其中，所述第一数据源的传输参数包括：所述第一数据源的连接地址、所述待处理数据的存储路径、所述第一数据源的文件分隔符和字段列。

5.根据权利要求4所述的方法，其特征在于，所述参数信息还包括：所述第二数据源的传输参数；

其中，所述第二数据源的传输参数包括：所述第二数据源的连接地址、数据表、分区列名、文件编码、所述第二数据源的文件分隔符。

6.根据权利要求3所述的方法，其特征在于，所述方法还包括：

将所述待处理数据的传输结果记录在日志文件中；

显示所述日志文件。

7.一种数据处理装置，其特征在于，包括：获取模块、确定模块和处理模块；

所述获取模块，用于获取用户的数据同步请求，所述数据同步请求用于指示将第一数据源中的待处理数据同步至第二数据源，所述第一数据源和所述第二数据源为不同的异构数据源；

所述确定模块，用于根据所述第一数据源和所述第二数据源，从预置的配置文件中读取相应的目标数据传输插件，所述配置文件中存储有至少一个数据传输插件，所述数据传输插件包括：两个数据源的基本信息，所述基本信息包括：用户名、密码和所述数据源的域名；

所述处理模块，用于根据所述目标数据传输插件和用户输入的参数信息，将所述第一数据源中的待处理数据传输至所述第二数据源中，所述参数信息用于指示将所述第一数据源中待处理数据传输至所述第二数据源的传输参数。

8.根据权利要求7所述的装置，其特征在于，所述获取模块，还用于获取至少两个数据源的基本信息；

所述处理模块，还用于根据所述至少两个数据源的基本信息，生成至少一个数据传输插件，并将所述至少一个数据传输插件存储至所述配置文件中。

9.一种服务器，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序指令，所述处理器执行所述计算机程序指令时实现如上述权利要求1至6任一项所述的数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述权利要求1至6任一项所述的数据处理方法。