[发明专利]一种大数据清洗配置式字段解析方法

权利要求书

1.一种大数据清洗配置式字段解析方法，其特征在于，包括如下具体步骤：

S1、设置文件的类型ID，用户通过excel模版的数据设置文件的类型ID，每一个字段对应的数据类型可为字符串、整形、浮点数；

S2、建立程序配置文件目录，将设置文件的类型ID上传到程序配置文件目录；

S3、模版数据清洗，当用户进行模版数据清洗时，上传excel模版并选择模版类型的ID；

S4、字段解析，清洗程序根据数据来源，模版ID会自动调用响应的解析配置对应的字段进行解析。

2.根据权利要求1所述的一种大数据清洗配置式字段解析方法，其特征在于，所述建立程序配置文件目录包括多个程序配置文件目录模块，程序配置文件目录检测模板、程序配置文件目录保存模块；

多个所述程序配置文件目录模块之间互相独立运行，并对应每一个字段对应的数据类型；

所述程序配置文件目录检测模板，用于检测上传文件的类型ID时是否出现数据丢失，其程序配置文件目录检测模板内设置有中间数据服务模块，其中，中间数据服务模块可将数据分化成多个中介点；

所述程序配置文件目录保存模块，将上传至多个程序配置文件目录模块的ID进行保存在数据库。

3.根据权利要求2所述的一种大数据清洗配置式字段解析方法，其特征在于，所述中间数据服务模块的中介点段两点作为输出点X与输入点Y，通过程序配置文件目录检测模板检测输出点X与输入点Y两点检测收集信息；

当上传数据无丢失时，将输入点X的数据信息A1和A2、输出点Y的数据信息B1和B2按照第一公式生成一元二次方程，如公式1所示：

Y＝KX

(1)

当上传数据无丢失时，可通过公式1变形为公式2所示：

Y＝KX+B

(2)

其中，B为数据截距，生成公式(3)：

Y＝X+B

(3)

其中输入点的坐标X为(A1、A2)，输出点Y为(B1、B2)。

4.根据权利要求1所述的一种大数据清洗配置式字段解析方法，其特征在于，所述模版数据清洗包括单项上传模块、多项上传模块、批量上传模块；

所述单项上传模块，单个进行选择excel模版的ID，进行逐一上传，在选择时将模版的ID编号为1、2、3、4....N；

所述多项上传模块，进行多个进行组合上传，在选择时将模版的ID编号为12、13...1N或123,134....13N或2678...2345N其中的一种；

所述批量上传模块，进行批量组合上传，在选择时将模版的ID编号为123456...N。

5.根据权利要求4所述的一种大数据清洗配置式字段解析方法，其特征在于，上传模版数据清洗时，分别对单项上传模块、多项上传模块、批量上传模块独立上传，同步可进二者或三者结合进行独立上传。

6.根据权利要求1所述的一种大数据清洗配置式字段解析方法，其特征在于，所述字段解析包括自动导入解析模块、自动匹配解析模块、保存解析模块；

所述自动导入解析模块，用于清洗程序数据模版ID自动按上传格式导入；

所述自动匹配解析模块，用于自己匹配通过所述自动导入解析模块上传格式的程序数据模版ID，并进行解析；

所述保存解析模块，用于将所述自动匹配解析模块解析后的程序数据模版ID进行保存。

7.根据权利要求6所述的一种大数据清洗配置式字段解析方法，其特征在于，所述自动匹配解析模块包括数据恢复模块、清除数据模块；

所述数据恢复模块，当所述自动匹配解析模块解析到数据有错误或数据有缺口时，通过数据恢复模块进行对该数据的DI进行恢复；

所述清除数据模块，当所述自动匹配解析模块解析到数据有重复或错误时，通过所述清除数据模块进行将该数据的DI进行清除。