[发明专利]数据处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种数据处理方法、装置、计算机设备和存储介质，方法包括：接收数据处理请求；基于所述数据处理请求遍历Redis集群的hash槽分页进行数据读取，增量迭代得到分页业务数据；其中，每页数据量进行预先设定；根据所述分页业务数据确定待处理数据，并将所述待处理数据返回至可视化面板进行数据显示，以使用户根据所述可视化面板中的数据进行数据处理。本申请提供的数据处理方法无需等当前所有数据遍历完成再继续其他的读写操作，提高了数据读写效率。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种数据处理方法、装置、计算机设备和存储介质。

背景技术

在服装技术领域，业务系统运行的过程中会产生大量的业务数据，如用户数据、版型数据或者布料数据等，运维人员需要对这些数据进行处理。

现有技术中通常采用keys命令获取数据，其时间复杂度为O(n)。当处理数据量较大时，keys命令会遍历数据列表，需要等待线程运行完成时才能释放线程的调度使用权，运行速度慢、耗时长，会导致其他命令阻塞，影响系统的运行效率，从而降低数据处理效率。

发明内容

本申请实施例提供了一种数据处理方法、装置、计算机设备和存储介质，以至少解决相关技术中数据处理效率低的问题。

第一方面，本申请实施例提供了一种数据处理方法，包括：

接收数据处理请求；

基于所述数据处理请求遍历Redis集群的hash槽分页进行数据读取，增量迭代得到分页业务数据；其中，每页数据量进行预先设定；

根据所述分页业务数据确定待处理数据，并将所述待处理数据返回至可视化面板进行数据显示，以使用户根据所述可视化面板中的数据进行数据处理。

在其中一些实施例中，基于所述数据处理请求遍历Redis集群的hash槽分页进行数据读取，增量迭代得到分页业务数据包括：

解析所述数据处理请求得到关键词；

基于所述关键词获取在Redis集群中对应的hash槽；

根据所述hash槽进行数据读取，并基于预设的每页数据量返回游标参数；

基于所述游标参数进行分页，增量迭代执行上述步骤得到分页业务数据。

在其中一些实施例中，解析所述数据处理请求得到关键词包括：

基于所述数据处理请求进行模糊匹配，得到关键词。

在其中一些实施例中，对所述关键词进行hash计算得到对应的hash槽包括：

对所述关键词进行hash计算得到对应的hash值；

根据所述hash值查找哈希表，获取与所述hash值对应的hash槽。

在其中一些实施例中，基于所述数据处理请求遍历Redis集群的hash槽分页进行数据读取，增量迭代得到分页业务数据之前，还包括：

获取Redis集群的配置信息；

基于所述配置信息遍历连接所述数据处理请求对应的多个Redis数据库，得到Redis集群。

在其中一些实施例中，基于所述数据处理请求遍历Redis集群的hash槽分页进行数据读取，增量迭代得到分页业务数据之前，还包括：

基于Redis数据库中的数据建立哈希表。

第二方面，本申请实施例提供了一种数据处理装置，包括：

处理请求接收单元，用于接收数据处理请求；