[发明专利]热点数据处理方法及装置、存储介质、电子设备

说明书

本公开提供一种热点数据处理方法、热点数据处理装置、存储介质与电子设备，涉及大数据技术领域。其中，所述热点数据处理方法包括：响应用户请求，从存储平台的共享内存字典获取所述用户请求中的数据对象对应的本地缓存数据；若未获取到所述本地缓存数据，生成所述数据对象的访问记录，并将所述访问记录存储至所述共享内存字典；响应查询请求从分布式缓存中获取待处理数据，若所述待处理数据属于热点数据，将所述待处理数据发送至所述共享内存字典进行处理，以自动识别热点数据。本公开的技术方案能够提高热点数据处理的效率。

技术领域

本公开涉及大数据技术领域，具体而言，涉及一种热点数据处理方法、热点数据处理装置、计算机可读存储介质以及电子设备。

背景技术

业务系统研发的时候经常会存在热点问题影响系统稳定性和性能瓶颈的问题，例如商品A的预约抢购和商品B的抢购都是针对单个SKU(Stock Keeping Unit，库存量单位)进行单品促销活动，抢购时间的流量峰值是平时的几十倍。

相关技术中，无法自动识别热点数据并设置缓存，因此识别热点数据的效率较低且准确性较差。并且，本地缓存资源有限，在流量出现峰值时会导致接口性能和服务器负载压力较大，影响整个系统的稳定性和可靠性。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种热点数据处理方法及装置、计算机可读存储介质和电子设备，进而至少在一定程度上克服相关技术中识别热点数据时操作效率较低以及准确性差的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种热点数据处理方法，包括：响应用户请求，从存储平台的共享内存字典获取所述用户请求中的数据对象对应的本地缓存数据；若未获取到所述本地缓存数据，生成所述数据对象的访问记录，并将所述访问记录存储至所述共享内存字典；响应查询请求从分布式缓存中获取待处理数据，若所述待处理数据属于热点数据，将所述待处理数据发送至所述共享内存字典进行处理，以自动识别热点数据。

在本公开的一种示例性实施例中，所述生成所述数据对象的访问记录，包括：根据所述数据对象的历史访问记录的状态信息，生成所述数据对象的访问记录。

在本公开的一种示例性实施例中，所述根据所述数据对象的历史访问记录的状态信息，生成所述数据对象的访问记录，包括：若所述数据对象存在历史访问记录，根据当前访问记录对所述历史访问记录进行更新，以生成所述访问记录；若所述数据对象不存在历史访问记录，结合缓存时间创建所述数据对象对应的访问记录。

在本公开的一种示例性实施例中，所述根据当前访问记录对所述历史访问记录进行更新，包括：若确定所述数据对象的访问次数大于次数阈值，生成所述数据对象的缓存数据，以根据所述当前访问记录对所述历史访问记录进行更新；若确定所述数据对象的访问次数小于所述次数阈值，则对所述访问次数进行累加，直至所述访问次数大于所述次数阈值为止，以对所述历史访问记录进行更新。

在本公开的一种示例性实施例中，所述根据当前访问记录对所述历史访问记录进行更新，包括：获取所述共享内存字典中未被使用的时间最长的参考记录；删除所述参考记录，并将所述数据对象对应的访问记录存储至所述参考记录的位置，以对所述历史访问记录进行更新。

在本公开的一种示例性实施例中，所述结合缓存时间创建所述数据对象对应的访问记录，包括：根据所述数据对象的维度确定所述缓存时间，并在所述缓存时间内创建所述数据对象对应的访问记录。