[发明专利]一种通过FTP进行大数据批量导入导出的方法

说明书

本发明公开了一种通过FTP进行大数据批量导入导出的方法，属于数据处理技术领域，包括导入验证、数据传入、非空处理、数据替换、数据重构、拆分数据、设置分隔符和数据导出。本发明在导入大数据商品的时候，通过验证每行数据，将该行数据通过FTP传入FTP服务器，对导入前的最后操作通过后台程序运行，保障数据能够成功导入；当大数据导出时，先通过后台程序将数据通过FTP传入到FTP服务器，后续导出通过FTP已有文件导出，可支持断点续传。避免在大数据批量导入导出时出现超时现象，用以支持断点续传。

技术领域

本发明涉及一种通过FTP进行大数据批量导入导出的方法，属于数据处理技术领域。

背景技术

目前实时商品大批量导入，实时验证导入数据有效性和保存数据到数据库，会导致数据处理慢，最终会导入商品超时，实时导出大数据的时候，因为导出数据过大会超时并且不能支持断点续传导出。

发明内容

本发明的主要目的是为了提供一种通过FTP进行大数据批量导入导出的方法，以避免在大数据批量导入导出时出现超时现象，用以支持断点续传。

本发明的目的可以通过采用如下技术方案达到：

一种通过FTP进行大数据批量导入导出的方法，包括以下步骤：

S1：导入验证：多商品数据分行导入，验证每行数据；

S2：数据传入：将该行数据通过FTP文传协议传入FTP服务器；

S3：非空处理：捕获该行数据的字段空值进行非空处理；

S4：数据替换：通过有效数据对无效数据、缺失数据进行替换；

S5：数据重构：对字段格式进行约束，将数据源中格式多样的数据在结构、格式、类型上重构统一，自定义导出格式；

S6：拆分数据：依据数据业务需求对重构后的字段进行分解；

S7：设置分隔符：依据不同数据业务需求设置不同数据分隔符；

S8：数据导出：通过后台程序将数据通过FTP文传协议传入到FTP服务器，并通过FTP服务器导出数据，并支持断点续传。

进一步的，所述S1中，数据分行导入时，验证多商品数据的合法性，全部合法时，多商品数据写入数据库，反之，提示不合法的多商品数据的行数和相对的错误内容。

进一步的，所述S2中，FTP文传协议包括ASCII传输模式和二进制数据传输模式。

进一步的，所述S3中，非空处理包括加载或替换每行数据的字段。

进一步的，所述加载每行数据的字段包括：

输入参数为字符类型，且允许为空的；

输入类型为整型，且允许为空的；

输入参数为字符类型，且是非空非空格的；

输入类型为整型，且是非空的。

进一步的，所述S4中，通过有效数据对无效数据、缺失数据进行替换的数据包括结构、格式、类型有效的数据。

进一步的，所述S5中，格式多样的数据包括时间、数值、字符。

进一步的，所述S7中，分隔符包括行分隔符、列分隔符、字段包围符和转义符。