[发明专利]大数据文件的文件处理方法、装置、设备及存储介质

权利要求书

1.一种大数据文件的文件处理方法，其特征在于，包括：

解压上游系统提供的数据文件；

调用AWK工具对解压后的数据文件中的非目标字段进行滤除；

将滤除非目标字段后的数据文件进行分类，得到每类文件类型对应的数据文件集合；

对于每类文件类型对应的数据文件集合，以主键为基础将其拆分并落入多个子表中。

2.如权利要求1所述的大数据文件的文件处理方法，其特征在于，所述调用AWK工具对解压后的数据文件中的非目标字段进行滤除，包括：

调用AWK工具中定义的过滤条件脚本，过滤掉解压后的数据文件中的非目标字段。

3.如权利要求1所述的大数据文件的文件处理方法，其特征在于，在所述调用AWK工具对解压后的数据文件中的非目标字段进行滤除之前，还包括：

调用AWK工具中定义的校验脚本，对滤除解压后的数据文件进行非空校验、长度校验和非法字符校验；

当解压后的数据文件未通过校验时，将该数据文件存入指定路径并抛出异常。

4.如权利要求1所述的大数据文件的文件处理方法，其特征在于，所述主键包括用户标识，所述对于每类文件类型对应的数据文件集合，以主键为基础将其拆分并落入多个子表中，包括：

从当前类文件类型的数据文件集合中取出一个数据文件；

判断该数据文件的主键是否为十进制数字；

如果该数据文件的主键为十进制数字，则根据公式d＝(m％(n*10))/10计算该数据文件中每条记录所归属的分库；

根据公式t＝(m％(n*10))％10计算该数据文件中每条记录在对应分库中所归属的分表；

将该数据文件的记录存入指定临时文件目录；

当所述指定临时文件目录中的记录满足批量入库条件时，将所述指定临时文件目录中的记录批量写入对应的分库分表中；

其中，d为数据文件中每条记录所归属的分库标识，t为数据文件中每条记录在对应分库中所归属的分表，m为数据文件中每条记录的用户标识，n为每类文件类型的分库总数，*表示相乘，％表示取模。

5.如权利要求4所述的大数据文件的文件处理方法，其特征在于，所述对于每类文件类型对应的数据文件集合，以主键为基础将其拆分并落入多个子表中，还包括：

对于每类文件类型对应的数据文件集合，当其内数据文件的主键不是十进制数字时，在进行分库分表前先将其主键转换为十进制数字。

6.如权利要求4所述的大数据文件的文件处理方法，其特征在于，在将所述指定临时文件目录中的记录批量写入对应的分库分表中之前，还包括：

对所述指定临时文件目录中的记录进行校验；

当所述指定临时文件目录中的记录通过校验时，触发将所述指定临时文件目录中的记录批量写入对应的分库分表中的操作。

7.一种大数据文件的文件处理装置，其特征在于，包括：

解压模块，用于解压上游系统提供的数据文件；

调用模块，用于调用AWK工具对解压后的数据文件中的非目标字段进行滤除；

分类模块，用于将滤除非目标字段后的数据文件进行分类，得到每类文件类型对应的数据文件集合；

入库模块，用于对于每类文件类型对应的数据文件集合，以主键为基础将其拆分并落入多个子表中。

8.一种计算机设备，包括存储器、处理器、以及存储在所述存储器上的计算机程序，其特征在于，所述计算机程序被所述处理器运行时，执行根据权利要求1-6任意一项所述方法的指令。

9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机设备的处理器运行时，执行根据权利要求1-6任意一项所述方法的指令。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器运行时，执行根据权利要求1-6任意一项所述方法的指令。