[发明专利]数据处理方法、装置、服务器和可读存储介质

说明书

本发明实施例涉及实时计算领域，公开了一种数据处理方法、装置、服务器和可读存储介质。本发明中，应用于实时计算系统，所述实时计算系统通过预设的存储组件存储数据流；所述数据处理方法包括：当内存中存储的文件消息的数量小于预设存储阈值，则根据用户需求从文件消息队列中获取多个待处理文件消息存储于所述内存中，所述待处理文件消息中包含对应的所述待处理数据在所述存储组件中的位置；根据处理单元的消费能力，将所述内存中的所述待处理文件消息发送至所述处理单元；通过所述处理单元从所述存储组件中获取所述待处理文件消息对应的待处理数据进行处理。使得提高处理单元运行的效率，加快数据处理的速度。

技术领域

本发明实施例涉及实时计算领域，特别涉及数据处理方法、装置、服务器和可读存储介质。

背景技术

目前开源组件中，没有一款成熟的流式存储工具，大部分存储工具如Hbase，mongoDB,等都不满足流式存储，为了满足流式存储，目前推出了能够进行流式存储的文件消息队列作为消息引擎。但相比于kafka等开源消息引擎来说，一个文件消息对应的数据量要比kafka的一个消息对应的数据量大的多，如果像kafka一样向下游消费者随机发送消息，则会造成消费者的运行压力不均衡，运行效率较低，拖累整体的数据处理的速度。

发明内容

本发明实施方式的目的在于提供一种数据处理方法、装置、服务器和可读存储介质，使得提高处理单元运行的效率，加快数据处理的速度。

为解决上述技术问题，本发明的实施方式提供了一种数据处理方法，包括以下步骤：

当内存中存储的文件消息的数量小于预设存储阈值，则根据用户需求从文件消息队列中获取多个待处理文件消息存储于所述内存中，所述待处理文件消息中包含对应的所述待处理数据在所述存储组件中的位置；

根据处理单元的消费能力，将所述内存中的所述待处理文件消息发送至所述处理单元；

通过所述处理单元从所述存储组件中获取所述待处理文件消息对应的待处理数据进行处理。

本发明的实施方式还提供了一种数据处理装置，包括：

文件获取模块，用于当内存中存储的文件消息的数量小于预设存储阈值，则根据用户需求从文件消息队列中获取多个待处理文件消息存储于所述内存中，所述待处理文件消息中包含对应的所述待处理数据在所述存储组件中的位置；

文件发送模块，用于根据处理单元的消费能力，将所述内存中的所述待处理文件消息发送至所述处理单元；

数据处理模块，用于通过所述处理单元从所述存储组件中获取所述待处理文件消息对应的待处理数据进行处理。

本发明的实施方式还提供了一种服务器，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行任一所述的数据处理方法。

本发明的实施方式还提供了一种计算机可读存储介质，所述计算机程序被处理器执行时实现任一项所述的数据处理方法。

本发明实施方式提供的数据处理方法，用于流式存储的文件消息队列，并针对该文件消息队列提供了文件消息分配的方法，即在文件消息获取之前判断内存中的文件消息的数量，避免内存中文件消息存储过多造成消费堆积。在发送文件消息时，根据处理单元的消费能力进行发送，而不是随机向处理单元发送，使得处理单元对文件消息及文件消息对应的数据的处理效率更高。

另外，本发明实施方式提供的数据处理方法，所述数据处理方法还包括：当所述内存中存储的所述文件消息的数量大于所述预设存储阈值，暂停从所述文件消息队列中获取所述待处理文件消息，将所述内存中存储的所述文件消息发送至对应的所述处理单元。在内存中存储文件消息的数量过多时，优先处理内存中的文件消息，避免内存中文件消息的冗余。