[发明专利]数据处理方法、装置、电子设备及存储介质

说明书

本发明的实施例提供了一种数据处理方法、装置、电子设备及存储介质，涉及大数据技术领域。该方法包括：基于第一数据库的数据操作的信息确定第一数据库中各个数据表的使用频次；基于第一数据库中各个数据表的数据量确定各个数据表的热度权重；将第一数据库中各个数据表的使用频次与对应的热度权重相乘确定各个数据表的热度值；将第一数据库中所述热度值大于预定阈值的数据表迁移到第二数据库中。本发明实施例的技术方案能够提高海量数据的数据处理效率，减少程序响应时间，从而能够满足报表的时效要求。

技术领域

本发明涉及大数据技术领域，具体而言，涉及一种数据处理方法、数据处理装置、电子设备以及计算机可读存储介质。

背景技术

随着互联网技术的发展，各种网站平台的用户也快速增长，需要处理的数据量也呈指数级增长。

由于数据库中的数据量越来越大，在业务处理程序对数据库执行数据操作时，经常会出现程序运行时间过长的情况，导致日报表不能及时发送。

因此，需要提供一种能够解决上述问题中的一个或多个问题的数据处理方法、数据处理装置、电子设备以及计算机可读存储介质。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施例的目的在于提供一种数据处理方法、数据处理装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

根据本发明实施例的第一方面，提供了一种数据处理方法，包括：基于第一数据库的数据操作的信息确定所述第一数据库中各个数据表的使用频次；基于所述第一数据库中各个数据表的数据量确定各个数据表的热度权重；将所述第一数据库中各个数据表的使用频次与对应的热度权重相乘确定各个数据表的热度值；将所述第一数据库中所述热度值大于预定阈值的数据表迁移到第二数据库中。

在本发明的一些实施例中，基于前述方案，基于所述第一数据库中各个数据表的数据量确定各个数据表的热度权重，包括：统计所述第一数据库中的各个数据表的数据量，基于统计结果确定所述第一数据库的总数据量；将所述总数据量除以所述第一数据库中的数据表的数量得到所述第一数据库中的数据表的平均数据量；将所述平均数据量除以各个数据表的数据量得到各个数据表的热度权重。

在本发明的一些实施例中，基于前述方案，将所述第一数据库中所述热度值大于预定阈值的数据表迁移到第二数据库中，包括：基于所述热度值对所述第一数据库中各个数据表进行排序；基于排序结果将所述第一数据库中所述热度值大于预定阈值的数据表迁移到第二数据库中。

在本发明的一些实施例中，基于前述方案，所述数据处理方法还包括：接收对所述第一数据库的数据查询请求，所述数据查询请求中包含待查询数据表；获取所述待查询数据表的标识信息，并基于所述标识信息获取所述待查询数据表的存储状态值；基于所述存储状态值从所述第一数据库或所述第二数据库中查找对应的数据。

在本发明的一些实施例中，基于前述方案，基于所述第一数据库的数据操作的信息确定所述第一数据库中各个数据表的使用频次，包括：基于所述第一数据库的数据操作的信息确定所述第一数据库中各个数据表的查询数据次数、新增数据次数、删除数据次数以及修改数据次数；基于所述查询数据次数、新增数据次数、删除数据次数以及修改数据次数确定所述第一数据库中各个数据表的使用频次。

在本发明的一些实施例中，基于前述方案，所述第二数据库为内存数据库。

在本发明的一些实施例中，基于前述方案，所述数据处理方法还包括：获取第一数据库的数据操作的日志信息，基于所述日志信息获取第一数据库的数据操作的信息。