[发明专利]一种数据处理的方法、装置、电子设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取待处理的数据文件，将所述数据文件基于文件创建时间发送至内存，根据预设的文件个数阈值，对所述数据文件进行划分，得到至少一组文件区间；

将所述文件区间中的数据文件进行合并，得到至少一个合并文件；

根据所述合并文件，生成文件列表，将所述文件列表传递至磁盘中进行缓存；

将所述文件列表中待处理的合并文件从磁盘发送至内存，根据预设的数据配置信息，在内存中进行数据处理，并将处理后的数据存入数据库中；

在将所述文件列表中待处理的合并文件从磁盘发送至内存之前，还包括：

根据预设的数据处理任务，确定文件列表中待处理的合并文件的数据量大小；

根据当前可用的内存大小和所述数据量大小，确定内存申请释放的空间，进行内存空间的释放。

2.根据权利要求1所述的方法，其特征在于，根据预设的文件个数阈值，对所述数据文件进行划分，得到至少一组文件区间，包括：

判断内存接收到的数据文件的个数是否超过预设的文件个数阈值；

若是，则以文件个数阈值为单位，将所述数据文件划分为至少一组文件区间。

3.根据权利要求2所述的方法，其特征在于，在以文件个数阈值为单位，将所述数据文件划分为至少一组文件区间之后，还包括：

若存在小于文件个数阈值的数据文件，则将小于文件个数阈值的数据文件划分为一个文件区间。

4.根据权利要求1所述的方法，其特征在于，将所述文件区间中的数据文件进行合并，得到至少一个合并文件，包括：

将文件区间中的第二个数据文件合并至所述文件区间的第一个数据文件中；

判断合并后的第一个数据文件的文件大小是否超过预设的文件大小阈值；

若是，则停止合并，得到所述文件区间的第一个合并文件。

5.根据权利要求4所述的方法，其特征在于，在判断合并后的第一个数据文件的文件大小是否超过预设的文件大小阈值之后，还包括：

若合并后的第一个数据文件的文件大小没有超过预设的文件大小阈值，则将第三个数据文件合并入第一个数据文件中，并判断合并后的第一数据文件的文件大小是否超过预设的文件大小阈值。

6.根据权利要求4所述的方法，其特征在于，在得到所述文件区间的第一个合并文件之后，还包括：

判断所述文件区间中是否存在未合并的数据文件；

若是，则将所述未合并的数据文件中的第一个数据文件确定为当前第一数据文件，将未合并数据文件中的第二个数据文件合并至当前第一数据文件中；

判断合并后的当前第一数据文件的文件大小是否超过预设的文件大小阈值；

若是，则停止合并，得到所述文件区间的第二个合并文件。

7.一种数据处理装置，其特征在于，包括：

数据划分模块，用于获取待处理的数据文件，将所述数据文件基于文件创建时间发送至内存，根据预设的文件个数阈值，对所述数据文件进行划分，得到至少一组文件区间；

数据合并模块，用于将所述文件区间中的数据文件进行合并，得到至少一个合并文件；

列表生成模块，用于根据所述合并文件，生成文件列表，将所述文件列表传递至磁盘中进行缓存；

数据处理模块，用于将所述文件列表中待处理的合并文件从磁盘发送至内存，根据预设的数据配置信息，在内存中进行数据处理，并将处理后的数据存入数据库中；

数据量确定单元，用于在将所述文件列表中待处理的合并文件从磁盘发送至内存之前，根据预设的数据处理任务，确定文件列表中待处理的合并文件的数据量大小；

内存申请单元，用于根据当前可用的内存大小和所述数据量大小，确定内存申请释放的空间，进行内存空间的释放。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一所述的数据处理方法。

9.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6中任一所述的数据处理方法。