[发明专利]一种分布式环境中大批量导出数据的方法

权利要求书

1.一种分布式环境中大批量导出数据的方法，其特征在于，包含以下步骤：

A.web前端发送需要导出的数据的条件，通过聚合查询出满足用户需要导出的数据条数，计算每一个线程完成多少条数据查询；

B.创建一个实现java.util.concurrent.Callable接口线程，所述接口线程用于分页获取订单表的数据；所述步骤B中获取订单表的数据时，具体为在Service层中封装好查询数据的方法、调用jpa，使用sql语句进行查询，在controller层中通过传分页参数和查询条件到Service层以获取分页查询的数据；

C.根据服务器的配置情况创建线程池，将线程即查询任务加入到线程池中，且为每个所述线程池预设最佳线程数目，根据线程池的调度策略，自动调用查询任务，进行订单表的数据查询，并将查询获取的订单表的数据保存至第一文件中；

D.对数据进行联合查询，建立与订单表一一对应的查询任务，并对单表查询出的数据进行内存分页，并将查询出的数据采用Map的形式存储在内存中，获取key值及value值，其中，所述key值为订单数据的id值，value值为关联表需要获取到的数据值；

E.将所述第一文件中的数据与步骤D中获取的Map形式的数据进行组装，组合出符合导出要求的List集合，并将List集合存到第二文件中；

F.对第二文件中的数据进行解析，采用IO流的形式获取数据，并将数据写入到Excel文件中；

G.给Excel文件预设一个Excel条数上限值，在步骤F中将数据写入到Excel文件中时，若写入的Excel条数到达所述Excel条数上限值时，则将存储在内存中的Map的形式的数据写入到硬盘中；所述步骤G中将数据写入到Excel文件中时，主要使用的是POI的SXSSFWorkbook；

H.使用http协议，往web前端的http请求的响应输出流中写入文件数据，完成大批量数据导出。

2.根据权利要求1所述的一种分布式环境中大批量导出数据的方法，其特征在于，所述步骤C中为所述线程池预设最佳线程数目时采用以下计算方式：最佳线程数目＝(线程等待时间/线程CPU时间+1)*CPU数目。

3.根据权利要求1所述的一种分布式环境中大批量导出数据的方法，其特征在于，所述步骤C中所述线程池的调度策略为：首先运行加入到线程池中的线程，当线程数目超过预设的线程数目时，多余的线程在等待队列中排队等待运行。

4.根据权利要求1所述的一种分布式环境中大批量导出数据的方法，其特征在于，所述步骤E中的导出要求为：要求导出的数据中至少包含订单信息、创建人信息、公司信息。