[发明专利]数据处理方法、系统、服务器集群和电子设备

说明书

本公开提供了一种数据处理方法，应用于第一服务器，包括，获取数据请求信息，所述数据请求信息用于请求数据对象的数据对象信息，基于所述数据请求信息，确定所述数据对象的热度值，基于所述数据对象的热度值，确定所述数据对象信息的存储位置，其中，高热度值的数据对象的数据对象信息的存储位置的读写性能不小于低热度值的数据对象的数据对象信息的存储位置的读写性能，以及基于所述存储位置，获取所述数据对象信息，用于响应所述数据请求，所述方法还包括，更新所述数据对象与数据对象的热度值的映射关系。

技术领域

本公开涉及互联网技术领域，更具体地，涉及数据处理方法、系统、服务器集群和电子设备。

背景技术

在数据存储领域，一般会选择内存、机械硬盘、固态硬盘等存储介质存储数据，不同的存储介质的访问速度不同，例如内存的访问速度大于机械硬盘和固态硬盘。一般不同的数据库软件将数据存储在不同的存储介质上。例如Redis数据库将数据存储到内存，而Hive数据库将数据存储到计算机硬盘(包括固态硬盘、机械硬盘)。存在一些容量大的存储介质例如机械硬盘、固态硬盘等，但是访问这些存储介质中的数据的速度很慢，而能够实现快速访问的存储介质的数存储容量又很小，例如内存。若要高速访问大量数据，就需要大量的内存空间，大大增加了存储成本。

发明内容

有鉴于此，本公开提供了数据处理方法、系统、服务器集群和电子设备。

本公开的一个方面提供了一种数据处理方法，应用于第一服务器，包括，获取数据请求信息，所述数据请求信息用于请求数据对象的数据对象信息，基于所述数据请求信息，确定所述数据对象的热度值，基于所述数据对象的热度值，确定所述数据对象信息的存储位置，其中，高热度值的数据对象的数据对象信息的存储位置的读写性能不小于低热度值的数据对象的数据对象信息的存储位置的读写性能，以及基于所述存储位置，获取所述数据对象信息，用于响应所述数据请求，所述方法还包括，更新所述数据对象与数据对象的热度值的映射关系。

根据本公开的实施例，所述基于所述数据对象的热度值，确定所述数据对象信息的存储位置，包括，基于所述数据对象的热度值，确定所述热度值所属的热度区间，以及基于所述热度区间，确定所述数据对象信息的存储位置。

根据本公开的实施例，所述更新所述数据对象与数据对象的热度值的映射关系，包括，获取计算出的热度值，所述热度值为单位时间内的数据对象的访问次数，以及基于所述计算出的热度值，更新所述数据对象与数据对象的热度值的映射关系。

根据本公开的实施例，所述方法还包括，判断由更新后所述数据对象的热度值所确定的所述数据对象信息的存储位置与由更新前所述数据对象的热度值所确定的所述数据对象信息的存储位置是否一致，获得判断结果，以及在所述判断结果为不一致的情况下，控制调整所述数据对象信息的存储位置。

本公开的另一个方面提供了一种数据处理方法，应用于第二服务器，包括，获取访问日志，基于所述访问日志，计算单位时间内的数据对象的访问次数作为所述数据对象的热度值，以及发送所述数据对象的热度值至第一服务器。

根据本公开的实施例，在所述方法执行至少两次的情况下，所述方法还包括，基于本次计算的所述数据对象的热度值，确定所述数据对象信息的目标存储位置，获取所述数据对象信息的当前存储位置，以及在所述目标存储位置与所述当前存储位置不一致的情况下，控制将所述数据对象信息的存储位置由所述当前存储位置移动至所述目标存储位置。

根据本公开的实施例，所述在所述目标存储位置与所述当前存储位置不一致的情况下，控制将所述数据对象信息的存储位置由所述当前存储位置移动至所述目标存储位置，包括，控制将所述当前存储位置中的数据对象信息复制到所述目标存储位置，发送本次计算的所述数据对象的热度值至第一服务器，以及控制删除所述当前存储位置中的数据对象信息。