[发明专利]数据处理的方法、装置及系统

权利要求书

1.一种数据处理的方法，其特征在于，所述方法包括：

对检索请求涉及的文件集合进行分组，获得多个文件子集；

为第一个文件子集分配缓存，以读取所述第一个文件子集中的数据；

在所述第一个文件子集中的数据读取完毕后，释放所述第一个文件子集的缓存，并为下一文件子集分配缓存，以读取所述下一文件子集中的数据；

在读取到各个文件子集的数据后，对所有文件子集的数据进行合并，得到向客户端返回的用户数据。

2.根据权利要求1所述的方法，其特征在于，所述对检索请求涉及的文件集合进行分组，包括：

根据当前的内存占用情况确定分组系数；

通过所述分组系数以及所述文件集合中的文件总数，对所述文件集合进行分组；

其中，当前内存占用比例与分组后的文件子集数量之间呈正相关关系。

3.根据权利要求2所述的方法，其特征在于，所述分组系数为每个文件子集中的文件数量，所述文件数量与所述当前内存占用比例之间呈负相关关系。

4.根据权利要求2所述的方法，其特征在于，所述分组系数为文件子集对所述文集集合的集合占比，所述集合占比与所述当前内存占用比例之间呈负相关关系。

5.根据权利要求2所述的方法，其特征在于，所述分组系数为文件子集数量，所述文件子集数量与所述当前内存占用比例之间呈正相关关系。

6.根据权利要求1所述的方法，其特征在于，在所述对检索请求涉及的文件集合进行分组之前，所述方法进一步包括：

当存在多个检索请求时，对检索对象相同的检索请求进行归一化处理。

7.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

当存在多个检索请求时，优先为第一优先级的检索请求分配缓存；

其中，所述第一优先级检索请求的划分依据包括：

检索请求的紧急程度、检索请求的来源分类、检索请求涉及的文件总数、检索请求涉及的文件子集数以及检索请求中文件子集的文件数。

8.根据权利要求1所述的方法，其特征在于，当内存空闲时，所述方法进一步包括：

为同一检索请求的至少两个文件子集同时分配缓存。

9.一种数据处理的装置，其特征在于，所述装置包括：

分组单元，用于对检索请求涉及的文件集合进行分组，获得多个文件子集；

分配单元，用于为所述分组单元划分的第一个文件子集分配缓存；

读取单元，用于从所述分配单元分配的缓存中读取所述分组单元划分的所述第一个文件子集中的数据；

所述分配单元，还用于在所述第一个文件子集中的数据读取完毕后，释放所述第一个文件子集的缓存，并为所述分组单元划分的下一文件子集分配缓存；

读取单元，还用于从所述分配单元分配的缓存中读取所述分组单元划分的所述下一文件子集中的数据；

处理单元，用于在所述读取单元读取到各个文件子集的数据后，对所述读取单元读取的所有文件子集的数据进行合并，得到向客户端返回的用户数据。

10.一种数据处理的系统，其特征在于，所述系统包括客户端及存储节点，其中，所述存储节点包括如上述权利要求9所述的装置。