[发明专利]一种基于大数据平台存储适配方法，系统，设备及可读存储介质

说明书

本发明提供一种基于大数据平台存储适配方法，系统，设备及可读存储介质，配置接口组件，并将接口组件配置到所有数据源；通过接口组件将数据批量存入大数据平台；通过接口组件将应用程序存放至大数据平台的预设目录。结合impala+kudu方式进行数据同步，整合了datax源代码，集成了kuduAPI接口，实现了传输速度快，支持大数量数据同步。支持多种数据源，oracle、mysql、DB2等。大数据平台的数据同步至kudu技术链路清晰，不需要额外数据处理。使用json文件配置数据表同步，便于对数据库的数据进行维护。

技术领域

本发明涉及数据储存技术领域，尤其涉及一种基于大数据平台存储适配方法，系统，设备及可读存储介质。

背景技术

Kudu是Cloudera开源的新型列式存储系统，是Apache Hadoop生态圈的新成员之一(incubating)，专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺，能提供快速的分析和实时计算能力，并且充分利用CPU和I/O资源，支持数据原地修改，支持简单的、可扩展的数据模型，它支持索引键的查询和修改。

目前，选用kudu存储时，在数据存储、修改与可扩展性上在数据同步方面遇到以下瓶颈：

1，Kudu仅能通过impala引擎进行访问，比如：若将oracle数据接入至kudu，当前方案为oracle-hdfs-impla+kudu，其链路长，存储效率不高。

2，在大量,存量数据接入时，数据处理工作量大，且效率低。

发明内容

为了克服上述现有技术中的不足，本发明提供一种基于大数据平台存储适配方法，方法包括：

配置接口组件，并将接口组件配置到所有数据源；

通过接口组件将数据批量存入大数据平台；

通过接口组件将应用程序存放至大数据平台的预设目录。

进一步需要说明的是，步骤通过接口组件将数据批量存入大数据平台还包括：

在大数据平台中对将数据文件编辑成json文件，json文件包括源端数据库类型，抽取表名，KUDU表名，抽取字段名；

将json文件存储在预设目录。

进一步需要说明的是，步骤通过接口组件将数据批量存入大数据平台还包括：

大数据平台接收各个数据源发送的数据存储认证信息，并对数据存储认证信息进行认证；

当所述数据存储认证信息通过时，向所述数据源发送数据获取指令；

大数据平台接收所述数据源发送的数据信息；

将接收的数据信息编辑成json文件，存储在预设目录。

本发明还提供一种基于大数据平台存储适配系统，包括：多个数据源和大数据平台；

大数据平台设有接口配置模块，数据接收模块和数据库；

接口配置模块用于配置接口组件，并将接口组件配置到所有数据源；

数据接收模块用于通过接口组件将数据批量存入数据库；

通过接口组件将应用程序存放至数据库的预设目录。

进一步需要说明的是，大数据平台还设有数据处理模块；

数据处理模块用于对将数据文件编辑成json文件；

将json文件存储在数据库的预设目录。

进一步需要说明的是，大数据平台还设有身份认证模块；