[发明专利]多线程多维度的数据处理方法、装置、设备及存储介质

说明书

本发明涉及大数据技术领域，公开了多线程多维度的数据处理方法、装置、设备及存储介质，用于简化大批量数据的业务复杂度，提高数据批量处理效率。本发明方法包括：获取原始数据集，原始数据集包括同一批次的多种业务数据；根据预置的分类规则对原始数据集进行识别，得到多个二维数组，其中，每个二维数组包括外层维度标识和内层维度标识；对多个二维数组进行配置，得到多个目标LIST容器；根据多个目标LIST容器的大小分别生成对应的子线程，得到多个子线程；通过预置的线程阻塞工具和多个子线程对原始数据集进行处理，得到批量处理后的数据。此外，本发明还涉及区块链技术，二维数组可存储于区块链中。

技术领域

本发明涉及批量更新领域，尤其涉及一种多线程多维度的数据处理方法、装置、设备及存储介质。

背景技术

目前在项目开发过程中，经常会遇到大批量数据的处理任务，一般能考虑到的解决方案就是采用多线程分任务处理数据。如果在此基础上再加上不同产品维度，细分到具体业务类型数据。可能就会增加很多代码逻辑，用于区分数据类型，分类打批数据。

需要处理不同产品维度的逻辑，那么在采用多线程去处理逻辑，无疑会增加各个子线程的工作效率。这样如果程序控制不当，某个子线程处理任务失败，此时完整的批次数据就会有影响。

发明内容

本发明提供了一种多线程多维度的数据处理方法、装置、设备及存储介质，用于简化大批量数据的业务复杂度，避免批量数据处理因为单个线程任务失败导致整个处理流程停滞，提高数据批量处理效率。

本发明实施例的第一方面提供一种多线程多维度的数据处理方法，包括：获取原始数据集，所述原始数据集包括同一批次的多种业务数据；根据预置的分类规则对所述原始数据集进行识别，得到多个二维数组，其中，每个二维数组包括外层维度标识和内层维度标识；对所述多个二维数组进行配置，得到多个目标LIST容器，其中，每个目标LIST容器包括多个对象，一个对象对应一个外层维度标识；根据所述多个目标LIST容器的大小分别生成对应的子线程，得到多个子线程；通过预置的线程阻塞工具和所述多个子线程对所述原始数据集进行处理，得到批量处理后的数据。

可选的，在本发明实施例第一方面的第一种实现方式中，所述根据预置的分类规则对所述原始数据集进行识别，得到多个二维数组，其中，每个二维数组包括外层维度标识和内层维度标识，包括：对所述原始数据集进行解析，得到多个目标业务数据；根据预置的第一分类规则确定所述多个目标业务数据对应的产品大类，得到多个外层维度标识，所述外层维度标识用于指示目标业务数据所属的产品大类；根据预置的第二分类规则确定所述多个目标业务数据对应的产品子类，得到多个内层维度标识，所述内层维度标识用于指示目标业务数据所属的产品子类，其中，每个产品大类包括多个产品子类；根据每个目标业务数据对应的外层维度标识和内层维度标识，生成每个目标业务数据对应的二维数组，得到多个二维数组。

可选的，在本发明实施例第一方面的第二种实现方式中，所述对所述多个二维数组进行配置，得到多个目标LIST容器，其中，每个目标LIST容器包括多个对象，一个对象对应一个外层维度标识，包括：获取预置的配置信息并根据所述配置信息获取需要的多个预置LIST容器；根据所述多个二维数组确定多个类对象，每个类对象对应一个外层维度标识；基于所述预置的配置信息确定每个所述预置LIST容器的类对象数量；基于每个所述预置LIST容器的类对象数量将所述多个类对象依次导入到每个预置LIST容器中，得到多个目标LIST容器。

可选的，在本发明实施例第一方面的第三种实现方式中，所述根据所述多个目标LIST容器的大小分别生成对应的子线程，得到多个子线程，包括：根据所述多个目标LIST容器的大小计算得到每个目标LIST容器的长度；按照每个目标LIST容器的长度计算每个目标LIST容器所能存储的内层维度标识的最大数量；按照所述每个目标LIST容器所能存储的内层维度标识的最大数量调用预置线程池分别生成每个目标LIST容器对应的最大数量子线程，得到多个子线程。