[发明专利]数据处理方法、装置、服务器和可读存储介质

权利要求书

1.一种数据处理方法，其特征在于，应用于实时计算系统，所述实时计算系统通过预设的存储组件存储数据流；所述数据处理方法包括：

当内存中存储的文件消息的数量小于预设存储阈值，则根据用户需求从文件消息队列中获取多个待处理文件消息存储于所述内存中，所述待处理文件消息中包含对应的所述待处理数据在所述存储组件中的位置；

根据处理单元的消费能力，将所述内存中的所述待处理文件消息发送至所述处理单元；

通过所述处理单元从所述存储组件中获取所述待处理文件消息对应的待处理数据进行处理。

2.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：

当所述内存中存储的所述文件消息的数量大于或等于所述预设存储阈值，暂停从所述文件消息队列中获取所述待处理文件消息，将所述内存中存储的所述文件消息发送至对应的所述处理单元。

3.根据权利要求1所述的数据处理方法，其特征在于，所述根据处理单元的消费能力，将所述内存中的所述待处理消息发送至所述处理单元，包括：

根据所述处理单元的消费能力，确定发送到所述处理单元的元组可以包含文件消息的数量，其中，所述元组的数量与所述处理单元的数量相同；

从所述内存中获取所述元组可以包含文件消息的数量的待处理文件消息形成所述元组，发送至所述处理单元。

4.根据权利要求1所述的数据处理方法，其特征在于，所述根据处理单元的消费能力，将所述内存中的所述待处理文件消息发送至所述处理单元，包括：

从所述内存中获取第一批处理需要处理的所述待处理文件消息，其中，所述第一批处理需要处理的所述待处理文件消息的数量根据所述处理单元的数量确定；

将所述第一批处理的所述待处理文件消息发送至所述处理单元。

5.根据权利要求4所述的数据处理方法，其特征在于，所述将所述第一批处理的所述待处理文件消息发送至所述处理单元后，还包括：

判断批处理的次数是否超过预先设定的最大批处理次数；

若所述批处理的次数小于或等于所述最大批处理次数，从所述内存中获取第二批处理需要处理的所述待处理文件消息，发送至所述处理单元。

6.根据权利要求4所述的数据处理方法，其特征在于，所述从所述内存中获取第一批处理所需所述待处理文件消息后，还包括：

对所述第一批处理所需的所述待处理文件消息在所述文件消息队列中的最大偏移量进行记录；

当进行第二批处理时，从所述最大偏移量对应的所述待处理文件消息之后开始获取。

7.根据权利要求1所述的数据处理方法，其特征在于，所述通过所述处理单元从所述存储组件中获取所述待处理文件消息对应的待处理数据进行处理，包括；

根据所述用户需求将所述待处理文件消息对应的待处理数据进行过滤；

对过滤后的所述待处理数据进行处理。

8.一种数据处理装置，其特征在于，包括：

文件获取模块，用于当内存中存储的文件消息的数量小于预设存储阈值，则根据用户需求从文件消息队列中获取多个待处理文件消息存储于所述内存中，所述待处理文件消息中包含对应的所述待处理数据在所述存储组件中的位置；

文件发送模块，用于根据处理单元的消费能力，将所述内存中的所述待处理文件消息发送至所述处理单元；

数据处理模块，用于通过所述处理单元从所述存储组件中获取所述待处理文件消息对应的待处理数据进行处理。

9.一种服务器，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7任一所述的数据处理方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的数据处理方法。