[发明专利]数据处理方法、装置、设备和存储介质

说明书

本发明公开了一种数据处理方法、装置、设备和存储介质。其中，该方法包括：根据文件查询参数，确定查询文件的文件信息，所述文件信息包括：文件名称、文件存储路径以及文件大小；若所述文件信息中的文件大小小于预设数值，则将所述文件信息写入缓存空间；若所述缓存空间内已写入的文件信息达到上传条件，则将满足所述上传条件的文件信息进行合并处理后写入实际存储空间。本发明实施例的技术方案能够极大的降低数据文件在存储单元中的占用内存，提高系统对存储数据的处理效率。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据处理方法、装置、设备和存储介质。

背景技术

在大数据存储领域，需要存储的数据有很多，存储大数据的数据库通常是由一个个预设大小(如128M)的存储单元构成。当需要存储某一数据文件时，通常是为该数据文件在数据库中分配一个预设大小的存储单元来存储该数据文件。

但是，现有方案在待存储的数据文件内存远小于预设大小的存储单元内存时，容易造成存储空间的浪费。例如，假设待存储的数据文件大小为12K，此时，12K的数据文件占用128M的存储单元，就会造成数据库存储空间的浪费。此外，在处理和存储数据相关的任务时，对于每一个存储单元都要进行任务的启动和释放，例如，100个12K的数据文件，就要进行100次任务的启动和释放，严重影响任务处理效率。

发明内容

本发明实施例提供一种数据处理方法、装置、设备和存储介质，以降低数据文件在存储单元中的占用内存，提高系统对存储数据的处理效率。

第一方面，本发明实施例提供了一种数据处理方法，该方法包括：

根据文件查询参数，确定查询文件的文件信息，所述文件信息包括：文件名称、文件存储路径以及文件大小；

若所述文件信息中的文件大小小于预设数值，则将所述文件信息写入缓存空间；

若所述缓存空间内已写入的文件信息达到上传条件，则将满足所述上传条件的文件信息进行合并处理后写入实际存储空间。

第二方面，本发明实施例还提供了一种数据处理装置，该装置包括：

文件信息确定模块，用于根据文件查询参数，确定查询文件的文件信息，所述文件信息包括：文件名称、文件存储路径以及文件大小；

缓存空间写入模块，用于若所述文件信息中的文件大小小于预设数值，则将所述文件信息写入缓存空间；

实际空间写入模块，用于若所述缓存空间内已写入的文件信息达到上传条件，则将满足所述上传条件的文件信息进行合并处理后写入实际存储空间。

第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现第一方面中任一所述的数据处理方法。

第四方面，本发明实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一所述的数据处理方法。