[发明专利]一种业务数据处理方法、装置、设备及存储介质

说明书

本申请公开了一种业务数据处理方法、装置、设备及存储介质，该方法包括：从原始服务器中获取业务数据；根据业务属性哈希与数据组件哈希组合的方式将业务数据中符合业务条件的数据存储至新服务器；通过多分片并发遍历的方式从新服务器中获取存储的数据；在获取的存储的数据满足发送要求的情况下，将存储的数据发送至存储的数据对应的用户账户。通过哈希组合路由的方式可以实现将业务数据进行散列存储，避免数据的哈希碰撞，并通过多分片并发遍历的方式遍历存储的数据，可以实现快速遍历相同业务属性的数据，从而提升遍历性能。

技术领域

本申请实施例涉及数据处理领域，尤其涉及一种业务数据处理方法、装置、设备及存储介质。

背景技术

数据遍历是指对现有的全部数据或部分数据进行扫描，将得到的数据传入下一个节点进行处理，现有的数据遍历方案一般有传统的MYSQL数据遍历和基于内存载体的数据遍历。

在实现本发明的过程中，发现现有技术中存在以下技术问题：在海量数据的场景下，基于传统的MYSQL数据遍历的方式存在性能不达标的缺陷，甚至无法实现海量数据的遍历，例如，在单表数据量达到500万时会出现性能急剧下降，导致无法实现全部遍历。而基于内存载体的遍历方式在三千万业务数据的情况下，大概占用8GB内存空间，三十亿的业务数据大概需要800GB空间，并且在硬件层面需要做备份或状态记录，这需要额外开销，导致成本较高。

发明内容

为了解决上述至少一个技术问题，本申请实施例提供了以下方案。

第一方面，本申请实施例还提供了一种业务数据处理方法，该方法包括：

从原始服务器中获取业务数据；

根据业务属性哈希与数据组件哈希组合的方式将业务数据中符合业务条件的数据存储至新服务器；

通过多分片并发遍历的方式从新服务器中获取存储的数据；

在获取的存储的数据满足发送要求的情况下，将存储的数据发送至存储的数据对应的用户账户。

第二方面，本申请实施例还提供了一种业务数据处理装置，该装置包括：

获取模块，用于从原始服务器中获取业务数据；

存储模块，用于根据业务属性哈希与数据组件哈希组合的方式将业务数据中符合业务条件的数据存储至新服务器；

获取模块，还用于通过多分片并发遍历的方式从新服务器中获取存储的数据；

发送模块，用于在获取的存储的数据满足发送要求的情况下，将存储的数据发送至存储的数据对应的用户账户。

第三方面，本申请实施例还提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，当处理器执行计算机程序时，实现如本申请任意实施例提供的业务数据处理方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请任意实施例提供的业务数据处理方法。

本申请实施例提供了一种业务数据处理方法、装置、设备及存储介质，该方法包括：从原始服务器中获取业务数据；根据业务属性哈希与数据组件哈希组合的方式将业务数据中符合业务条件的数据存储至新服务器；通过多分片并发遍历的方式从新服务器中获取存储的数据；在获取的存储的数据满足发送要求的情况下，将存储的数据发送至存储的数据对应的用户账户。通过哈希组合路由的方式可以实现将业务数据进行散列存储，避免数据的哈希碰撞，并通过多分片并发遍历的方式遍历存储的数据，可以实现快速遍历相同业务属性的数据，从而提升遍历性能。

附图说明

图1为本申请实施例中的一种业务数据处理方法的流程图；