[发明专利]数据处理方法、装置、设备和存储介质在审
| 申请号: | 202111630560.1 | 申请日: | 2021-12-28 |
| 公开(公告)号: | CN114661488A | 公开(公告)日: | 2022-06-24 |
| 发明(设计)人: | 于达 | 申请(专利权)人: | 阿里云计算有限公司 |
| 主分类号: | G06F9/54 | 分类号: | G06F9/54;G06F9/50 |
| 代理公司: | 北京东方亿思知识产权代理有限责任公司 11258 | 代理人: | 彭琼 |
| 地址: | 310000 浙江省*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据处理 方法 装置 设备 存储 介质 | ||
1.一种数据处理方法,包括:
获取与任务对应的待处理消息;
基于所述任务中的预设字段,划分所述待处理消息,得到多组消息;
根据所述每组消息的消息队列,确定与所述消息队列对应的实例;
通过所述实例处理所述每组消息,得到所述每组消息的处理结果。
2.根据权利要求1所述的方法,其中,所述预设字段包括至少两个字段;所述基于所述任务中的预设字段,划分所述待处理消息,得到多组消息,包括:
拼接所述至少两个字段,得到拼接字段;
基于所述拼接字段,划分所述待处理消息,得到多组消息。
3.根据权利要求1所述的方法,其中,所述根据所述每组消息的消息队列,确定与所述消息队列对应的实例之前,所述方法还包括:
通过哈希算法,计算与所述每组消息中的字段值对应的固定整数值;
根据所述固定整数值和消息队列的预设数量值,确定所述每组消息的消息队列;
将所述每组消息添加到所述每组消息的消息队列中。
4.根据权利要求3所述的方法,其中,所述消息队列包括队列标识;所述根据所述固定整数值和消息队列的预设数量值,确定所述每组消息的消息队列,包括:
通过取模运算算法,计算所述固定整数值和预设数量值的余数值;
确定所述余数值为与所述每组消息对应的队列标识;
根据所述队列标识,确定所述每组消息的消息队列。
5.根据权利要求4所述的方法,其中,所述根据所述每组消息的消息队列,确定与所述消息队列对应的实例,包括:
根据队列标识与实例的预设关联关系,确定与所述每组消息的消息队列对应的实例。
6.根据权利要求1或4所述的方法,其中,所述根据所述每组消息的消息队列,确定与所述消息队列对应的实例,包括:
获取至少两个任务处理平台中每个任务处理平台的实时负载状态信息;
根据所述实时负载状态信息,在所述至少两个任务处理平台中确定与每组消息的消息队列对应的实例。
7.根据权利要求1所述的方法,其中,所述实例包括存储引擎,所述存储引擎用于存储历史数据;所述通过所述实例处理所述每组消息,得到所述每组消息的处理结果,包括:
从所述存储引擎中获取与所述任务对应的历史数据;
在所述历史数据中获取与所述每组消息对应的目标数据;
基于所述目标数据,通过所述实例处理所述每组消息,得到所述每组消息的处理结果。
8.根据权利要求1所述的方法,其中,所述获取与任务对应的待处理消息,包括:
通过消息中间件获取与任务对应的待处理消息。
9.一种数据处理装置,包括:
获取模块,用于获取与任务对应的待处理消息;
划分模块,用于基于所述任务中的预设字段,划分所述待处理消息,得到多组消息;
确定模块,用于根据所述每组消息的消息队列,确定与所述消息队列对应的实例;
处理模块,用于通过所述实例处理所述每组消息,得到所述每组消息的处理结果。
10.一种计算机设备,包括:存储器和处理器,
所述存储器,用于存储有计算机程序;
所述处理器,用于执行所述存储器中存储的计算机程序,所述计算机程序运行时使得所述处理器执行权利要求1至8中任意一项所述的数据处理方法的步骤。
11.一种计算机可读存储介质,所述计算机可读存储介质上存储程序或指令,在所述程序或指令被计算机设备执行的情况下,使得所述计算机设备执行如权利要求1至8中任意一项所述的数据处理方法的步骤。
12.一种计算机程序产品,包括计算机程序,在所述计算机程序被计算机设备执行的情况下,使得所述计算机设备执行如权利要求1至8中任意一项所述的数据处理方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里云计算有限公司,未经阿里云计算有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111630560.1/1.html,转载请声明来源钻瓜专利网。





