[发明专利]一种数据处理方法和装置

说明书

本发明公开了一种数据处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取待获取数据在查询周期内对应的查询信息；根据查询信息对目标数据集合进行更新；其中，目标数据集合是根据历史数据对应的查询信息进行构建的；将更新后的目标数据集合中的目标数据存储至本地缓存。该实施方式通过对目标数据进行实时更新，有效解决了缓存击穿现象，拓展了适用场景，提升了用户体验。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法和装置。

背景技术

高并发系统在存在缓存机制的情况下，当大量请求进来后，缓存在某个极限时刻刹那失效，导致所有请求全部绕过缓存发送至后台数据库或者其他I/O(Input/Output，输入/输出)频繁操作的设备上，造成系统宕机等情形(也称缓存击穿)。随着互联网用户的激增，如何避免缓存击穿是亟需解决的问题。

现有技术中至少存在如下问题：

现有的数据处理方法中由于所设置的热key(即目标数据)存在滞后性，存在对解决缓存击穿的效果较差，适用场景较少，用户体验较差。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法和装置，能够通过对目标数据进行实时更新，有效避免了缓存击穿现象，拓展适用场景，提升用户体验。

为实现上述目的，根据本发明实施例的第一方面，提供了一种数据处理方法，包括：

获取待获取数据在查询周期内对应的查询信息；

根据查询信息对目标数据集合进行更新；其中，目标数据集合是根据历史数据对应的查询信息进行构建的；

将更新后的目标数据集合中的目标数据存储至本地缓存。

进一步地，目标数据集合的构建步骤包括：

获取历史数据对应的查询信息，其中，查询信息包括查询数量和查询时间；

根据查询信息对历史数据进行排序，根据排序结果和预设条件确定目标数据，并构建目标数据集合。

进一步地，还包括：

响应于用户基于待获取数据发起的数据获取请求，判断待获取数据是否为目标数据；

若是，则从本地缓存中获取待获取数据；若否，则从数据库中获取待获取数据。

进一步地，查询信息包括查询数量和查询率；根据查询信息对目标数据集合进行更新，还包括：

监控从数据库中获取的待获取数据对应的查询数量和查询率，根据第一查询数量阈值和第一查询率阈值确定第一数据；

对第一数据对应的查询信息进行上报；

根据上报的第一数据对应的查询信息、预设条件对目标数据集合进行更新。

进一步地，将目标数据对应的键值对列表存储至本地缓存，判断待获取数据是否为目标数据，还包括：

根据待获取数据对应的主键，遍历键值对列表，以判断待获取数据是否为目标数据。

进一步地，还包括：

获取数据获取请求对应的应用编号，根据应用编号对应的业务需求，对应用编号对应的预设条件进行更新，并根据更新后的预设条件对目标数据集合中的目标数据进行更新。

进一步地，还包括：

获取目标数据集合对应的更新信息，并对更新信息进行存储。

根据本发明实施例的第二方面，提供了一种数据处理装置，包括：

信息获取模块，用于获取待获取数据在查询周期内对应的查询信息；