[发明专利]一种通过FTP进行大数据批量导入导出的方法

权利要求书

1.一种通过FTP进行大数据批量导入导出的方法，其特征在于，包括以下步骤：

S1：导入验证：多商品数据分行导入，验证每行数据；

S2：数据传入：将该行数据通过FTP文传协议传入FTP服务器；

S3：非空处理：捕获该行数据的字段空值进行非空处理；

S4：数据替换：通过有效数据对无效数据、缺失数据进行替换；

S5：数据重构：对字段格式进行约束，将数据源中格式多样的数据在结构、格式、类型上重构统一，自定义导出格式；

S6：拆分数据：依据数据业务需求对重构后的字段进行分解；

S7：设置分隔符：依据不同数据业务需求设置不同数据分隔符；

S8：数据导出：通过后台程序将数据通过FTP文传协议传入到FTP服务器，并通过FTP服务器导出数据，并支持断点续传。

2.根据权利要求1所述的一种通过FTP进行大数据批量导入导出的方法，其特征在于，所述S1中，数据分行导入时，验证多商品数据的合法性，全部合法时，多商品数据写入数据库，反之，提示不合法的多商品数据的行数和相对的错误内容。

3.根据权利要求1所述的一种通过FTP进行大数据批量导入导出的方法，其特征在于，所述S2中，FTP文传协议包括ASCII传输模式和二进制数据传输模式。

4.根据权利要求1所述的一种通过FTP进行大数据批量导入导出的方法，其特征在于，所述S3中，非空处理包括加载或替换每行数据的字段。

5.根据权利要求4所述的一种通过FTP进行大数据批量导入导出的方法，其特征在于，所述加载每行数据的字段包括：

输入参数为字符类型，且允许为空的；

输入类型为整型，且允许为空的；

输入参数为字符类型，且是非空非空格的；

输入类型为整型，且是非空的。

6.根据权利要求1所述的一种通过FTP进行大数据批量导入导出的方法，其特征在于，所述S4中，通过有效数据对无效数据、缺失数据进行替换的数据包括结构、格式、类型有效的数据。

7.根据权利要求1所述的一种通过FTP进行大数据批量导入导出的方法，其特征在于，所述S5中，格式多样的数据包括时间、数值、字符。

8.根据权利要求1所述的一种通过FTP进行大数据批量导入导出的方法，其特征在于，所述S7中，分隔符包括行分隔符、列分隔符、字段包围符和转义符。