[发明专利]一种处理excel大数据导入的任务切分执行方法

说明书

本发明公开了一种处理excel大数据导入的任务切分执行方法，步骤S1：将所有的excel数据自动切分为多个子任务，并且，把各子任务封装到JDK的Future对象中，其是根据操作系统的核数来切分所有的excel数据为对应的子任务数量，将要处理的数据量平均分给每一子任务；步骤S2：由线程池ThreadPool并发执行子任务的业务校验及其他业务操作。本发明由于对子任务数做了自动切分且切分数量与CPU一致，保证了各子任务全部可以并发同时执行，更能充分的利用CPU资源的使用，且对任务数线程数的管理也减少了上下文切换，减少IO请求数据库的次数，因此性能达到很大的提升。

技术领域

本发明涉及计算机软件领域，尤其涉及的是一种处理excel大数据导入的任务切分执行方法。

背景技术

导入的excel数据上万甚至几十万条数据时，由于要对每一行数据做各种业务校验，然后返回所有不规范的数据提示客户，校验通过则批量导入数据到数据库，处理时间会较慢，慢至几十分钟甚至更久，处理时间太长除了体验差，还会存在系统隐患，长期占用大量内存可能使系统崩溃。

现有常规方法是单线程循环对每一条数据做校验并记录错误信息，最后汇总一并提示；缺点：速度很慢，耗时间。

改进方法有改为多线程处理每一行数据并做汇总。

缺点：多线程处理多个任务，任务数量随导入数据量而变化，可能使得有些任务需要等待CPU的时间分片来执行，未能智能的切分任务以充分利用CPU资源，容易造成过多的上下文切换导致性能欠佳。

因此，现有技术存在缺陷，需要改进。

发明内容

本发明所要解决的技术问题是：提供一种处理excel大数据导入的任务切分执行方法。

本发明的技术方案如下：一种处理excel大数据导入的任务切分执行方法，包括如下步骤：步骤S1：将所有的excel数据自动切分为多个子任务，并且，把各子任务封装到JDK的Future对象中，其中，是根据操作系统的核数来切分所有的excel数据为对应的子任务数量，并且，将要处理的数据量平均分给每一子任务；步骤S2：由线程池ThreadPool并发同时执行子任务的业务校验及其他业务操作。

应用于上述技术方案，所述的处理excel大数据导入的任务切分执行方法中，步骤S2之前，还对每一子任务的数据设置对应的excel里的行索引。

应用于上述各个技术方案，所述的处理excel大数据导入的任务切分执行方法中，步骤S2之后，把每一子任务的并发同时执行结果通过Future的get方法获取后汇总，并完成了整个导入任务，若校验不过则提示每一行的报错信息。

本发明的有益效果为：

本发明执行方法也是属于多线程执行，跟上面传统的多线程方法比性能更快，本发明由于对子任务数做了自动切分且切分数量与CPU一致，保证了各子任务全部可以并发同时执行，更能充分的利用CPU资源的使用，且对任务数线程数的管理也减少了上下文切换，减少IO请求数据库的次数，因此性能达到很大的提升。

具体实施方式

以下结合具体实施例，对本发明进行详细说明。

本实施例提供了一种一种处理excel大数据导入的任务切分执行方法，包括如下步骤：步骤S1：将所有的excel数据自动切分为多个子任务，并且，把各子任务封装到JDK的Future对象中，其中，是根据操作系统的核数来切分所有的excel数据为对应的子任务数量，并且，将要处理的数据量平均分给每一子任务；步骤S2：由线程池ThreadPool并发同时执行子任务的业务校验及其他业务操作。

并且，在步骤S2之前，还对每一子任务的数据设置对应的excel里的行索引。在步骤S2之后，把每一子任务的并发同时执行结果通过Future的get方法获取后汇总，并完成了整个导入任务，若校验不过则提示每一行的报错信息。