[发明专利]数据处理方法、装置、设备及存储介质

说明书

本发明涉及数据处理领域，公开了一种数据处理方法、装置、设备及存储介质，用于减少待处理数据对数据库的压力，该方法包括：获取网络订单数据；根据动态第一分片值对网络订单数据进行预分片，生成分片均匀的第一分片数据集；根据预设的第二分片值对第一分片数据集中的第一分片数据进行分片，获得第一分片数据对应的第二分片数据集；将所有的第二分片数据集导入模板数据表中，生成分片数据表；将分片数据表载入处理平台，分别执行每个分片数据的指令。通过本方法，能够减少了分片步骤对表造成的更新操作，简化流程，减少数据库交互，释放数据库资源，减轻数据库的压力。此外，本发明还涉及区块链技术，进行预分片后的数据可存储于区块链中。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术

经济飞速发展，大量商品不断涌现，大至石油、黄铜、钢铁、铝，小至服装、帽子、鞋子，人们越来越多的商品可以进行交易。同时，世界第三次信息革命爆发，带来巨大的生产力与效率，将各种生活用品与大宗商品交易放在网络上进行已经逐步成为人们习以为常的交易方式。在过去还无法想象的网络交易，现在已经成为了每个人生活的常态。而且这种革命性压力还在不断深入到教育、医疗、文化、交通运输产业。

全社会都迈入电子交易时代时，给电子交易平台带来巨大机会的同时也提出了要拥有完成高并发交易能力的挑战。在面对交易并发时，服务器的单个线程的处理速度是一定的，而为了提高效率必须同时处理几个并行的进程，数据库在处理数据时，由于其处理的数据的数据结构复杂，数据剖析难度高，而导致性能下降。

发明内容

本发明的主要目的在于解决现有技术中，数据库在处理数据时，由于其处理的数据的数据结构复杂，数据剖析难度高，而导致性能下降的技术问题。

本发明第一方面提供了一种数据处理方法，包括：

获取网络订单数据；

根据动态第一分片值对所述网络订单数据进行预分片处理，生成第一分片数据集，其中，所述第一分片数据包括至少两块第一分片数据，且每个所述第一分片数据的数据片大小相等；

根据预设的第二分片值对所述第一分片数据集中的每块第一分片数据进行分片处理，得到对应的第二分片数据集；

将所有的所述第二分片数据集导入模板数据表中，生成分片数据表；

将所述分片数据表载入处理平台，并依次执行每个分片数据的指令。

可选的，在本发明第一方面的第一种实现方式中，在所述获取网络订单数据之后，还包括：

读取所述网络订单数据的数据类型，判断所述数据类型是否为数字类型；

若所述数据类型是数字类型，则获取所述动态第一分片值；

若所述数据类型不是数字类型，将所述网络订单数据转为数字类型，并向控制服务器发送确认函件。

可选的，在本发明第一方面的第二种实现方式中，所述获取所述动态第一分片值包括：

分析获得所述网络订单数据的数据量；

根据所述数据量与预设的动态对应关系获得动态分片数量；

根据所述数据量与所述动态分片数量的商值得出所述网络订单数据对应的动态第一分片值。

可选的，在本发明第一方面的第三种实现方式中，所述根据预设的第二分片值对所述第一分片数据集中的每块第一分片数据进行分片处理，得到对应的第二分片数据集包括：

判断所述动态第一分片值是否大于所述第二分片值；

若所述动态第一分片值大于所述第二分片值，则将所述第二分片数据导入模板数据表中，生成分片数据表；