[发明专利]大数据量批处理系统和大数据量批处理方法

摘要

本发明提供了一种大数据量批处理系统，包括：中间件单元用于向一级缓存装置发送查询请求，以及接收来自二级缓存装置的二级分页主键集合，根据二级分页主键集合向数据库查询待处理数据并在对待处理数据进行计算处理后，向数据库发送持久化数据请求；一级缓存装置用于向数据库查询符合查询请求的主键集合，以及根据主键集合生成一级分页主键集合并将一级分页主键集合返回至二级缓存装置；二级缓存装置用于根据一级分页主键集合生成二级分页主键集合并将二级分页主键集合返回至中间件单元。本发明还提供了一种大数据量批处理方法。根据本发明的技术方案，可大大提高系统海量数据的处理速度，降低系统处理时间，进而提升系统的综合性能。

主权项

一种大数据量批处理系统，其特征在于，包括：中间件单元、一级缓存装置和二级缓存装置，其中，所述中间件单元用于向所述一级缓存装置发送查询请求，以及接收来自所述二级缓存装置的二级分页主键集合，根据所述二级分页主键集合向数据库查询待处理数据并在对所述待处理数据进行计算处理后，向所述数据库发送持久化数据请求；所述一级缓存装置用于向所述数据库查询符合所述查询请求的主键集合，以及根据所述主键集合生成一级分页主键集合并将所述一级分页主键集合返回至所述二级缓存装置；所述二级缓存装置用于根据所述一级分页主键集合生成二级分页主键集合并将所述二级分页主键集合返回至所述中间件单元。