[发明专利]数据处理方法、装置及系统

说明书

本发明公开了一种数据处理方法、装置及系统，涉及大数据技术领域，其中，该方法包括：响应于源数据表结构更新，根据预定的表结构字段信息获取存储在数据库中的源数据；根据预定的单个文件大小，将获取的源数据生成至少一个二进制文件；根据所述至少一个二进制文件、二进制文件的文件名、表结构字段信息生成拼接文件；在执行数据纳管操作之前，根据预定的数据映射信息将所述拼接文件传输至数据纳管系统中的预定位置。通过本发明，可以降低纳管数据报错率，提高文件的传输成功率。

技术领域

本发明涉及大数据技术领域，具体涉及一种数据处理方法、装置及系统。

背景技术

目前，大数据纳管需要事先登记表结构等信息提前生成入湖表，且纳管过程是通过读取数据、从对方服务器发送的事先登记好的文件内容来实现的，这导致各应用已纳管的表对应的表结构变更时，无法实时同步至大数据仓库，产生了纳管报错的问题，同时，由于传输文件存在大小限制，也无法应付数据量指数激增导致的文件过大的情况，导致了文件无法传输。

发明内容

有鉴于此，本发明提供一种数据处理方法、装置及系统，以解决上述提及的至少一个问题。

根据本发明的第一方面，提供一种数据处理方法，所述方法包括：

响应于源数据表结构更新，根据预定的表结构字段信息获取存储在数据库中的源数据；

根据预定的单个文件大小，将获取的源数据生成至少一个二进制文件；

根据所述至少一个二进制文件、二进制文件的文件名、表结构字段信息生成拼接文件；

在执行数据纳管操作之前，根据预定的数据映射信息将所述拼接文件传输至数据纳管系统中的预定位置。

根据本发明的第二方面，提供一种数据处理装置，所述装置包括：

源数据获取单元，用于响应于源数据表结构更新，根据预定的表结构字段信息获取存储在数据库中的源数据；

二进制文件生成单元，用于根据预定的单个文件大小，将获取的源数据生成至少一个二进制文件；

拼接文件生成单元，用于根据所述至少一个二进制文件、二进制文件的文件名、表结构字段信息生成拼接文件；

拼接文件传输单元，用于在执行数据纳管操作之前，根据预定的数据映射信息将所述拼接文件传输至数据纳管系统中的预定位置。

根据本发明的第三方面，提供一种数据处理系统，所述系统包括：上述的数据处理装置、数据库和数据纳管系统。

根据本发明的第四方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。

根据本发明的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

由上述技术方案可知，通过在源数据表结构更新时，根据预定的表结构字段信息获取源数据，并根据预定的单个文件大小将获取的源数据生成至少一个二进制文件，随后根据该二进制文件及其文件名和表结构字段信息生成拼接文件，之后在执行数据纳管操作之前，将拼接文件传输至数据纳管系统中的预定位置，从而可以克服现有技术中的在源表结构发生变化时无法实时同步到数据纳管系统而导致的纳管报错问题，通过生成多个二进制文件也可以克服因文件过大而无法传输文件的问题，通过本技术方案，可以降低纳管数据报错率，提高文件的传输成功率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。