[发明专利]数据处理方法、装置、电子设备和存储介质在审
申请号: | 202110296791.7 | 申请日: | 2021-03-19 |
公开(公告)号: | CN113094378A | 公开(公告)日: | 2021-07-09 |
发明(设计)人: | 王树贺 | 申请(专利权)人: | 北京达佳互联信息技术有限公司 |
主分类号: | G06F16/23 | 分类号: | G06F16/23;G06F16/2455;G06F11/14;G06F9/54 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 陈蕾 |
地址: | 100085 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 电子设备 存储 介质 | ||
本公开关于数据处理方法、装置、电子设备和存储介质,所述方法包括:在确定数据库中保存的第一数据被更新为第二数据的情况下,生成对应于所述第二数据的第二缓存数据并将其存储在预设缓存中,所述预设缓存中还存储有对应于所述第一数据的第一缓存数据;在待响应的信息获取请求的数量超出数量阈值的情况下,使用所述第二缓存数据响应预设数量的所述信息获取请求,并使用所述第一缓存数据响应剩余的所述信息获取请求。该方案能够有效避免短时间内处理大量请求可能导致的缓存雪崩,一定程度上提升了数据库系统的运行稳定性。
技术领域
本公开涉及数据处理领域,尤其涉及数据处理方法、装置、电子设备和存储介质。
背景技术
现阶段,网络电商、直播平台、数据管理平台等各类网络业务系统通常使用数据库(Database,DB)保存业务运行过程中的业务数据。在业务数据数量较多的情况下,为避免直接操作数据库可能导致的处理耗时长及数据库损害等问题,通常在网络业务系统和数据库之间设置缓存。
然而,在缓存中保存的缓存数据随着数据库中数据的更新而更新后,若缓存设备短时间内接收到大量信息获取请求,通常无法及时高效对请求进行处理。以商品定时抢购活动相关的项目为例,在删除抢购活动的相关人员在该项目中的权限数据后,若接收到该抢购活动相关的海量的商品抢购请求,由于此时缓存中并不存在上述权限数据,则会临时从数据库中多次拉取上述权限信息以响应商品抢购请求,从而导致数据库可能在短时间内接收到过多的信息拉取请求,甚至引发缓存雪崩,因此数据库系统的稳定较低。因此,如何避免请求导致的缓存雪崩,成为使用缓存时亟待解决的问题。
发明内容
本公开提供了数据处理方法、装置、电子设备和存储介质,以至少解决相关技术中的技术问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提出一种数据处理方法,包括:
在确定数据库中保存的第一数据被更新为第二数据的情况下,生成对应于所述第二数据的第二缓存数据并将其存储在预设缓存中,所述预设缓存中还存储有对应于所述第一数据的第一缓存数据;
在待响应的信息获取请求的数量超出数量阈值的情况下,使用所述第二缓存数据响应预设数量的所述信息获取请求,并使用所述第一缓存数据响应剩余的所述信息获取请求。
可选的,还包括:
在待响应的信息获取请求的数量不超出所述数量阈值的情况下,使用所述第二缓存数据响应所述信息获取请求。
可选的,所述数量阈值包括:
预设的数量值;或者,
根据当前资源占用率和/或预测资源占用率确定出的最大请求处理数量。
可选的,所述在确定数据库中保存的第一数据被更新为第二数据的情况下,生成对应于所述第二数据的第二缓存数据,包括:
从消息队列中获取数据更新消息,所述数据更新消息对应于数据库中保存的第一数据被更新为第二数据的数据更新事件;
根据所述数据更新消息生成缓存更新事件;
对所述缓存更新事件进行幂等校验,并在校验通过的情况下,根据所述缓存更新事件生成对应于所述第二数据的第二缓存数据。
可选的,所述数据库包括MySQL数据库,所述数据更新消息被根据对应于所述数据更新事件的binlog日志文件生成。
可选的,所述第一缓存数据被分配有第一版本号,所述方法还包括:
为所述第二缓存数据分配区别于所述第一版本号的第二版本号,其中,所述第一版本号和第二版本号被分别用于查询所述第一缓存数据和第二缓存数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京达佳互联信息技术有限公司,未经北京达佳互联信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110296791.7/2.html,转载请声明来源钻瓜专利网。