[发明专利]大数据量批处理系统和大数据量批处理方法

权利要求书

1.一种大数据量批处理系统，其特征在于，包括：中间件单元、一级缓存装置和二级缓存装置，其中，

所述中间件单元用于向所述一级缓存装置发送查询请求，以及接收来自所述二级缓存装置的二级分页主键集合，根据所述二级分页主键集合向数据库查询待处理数据并在对所述待处理数据进行计算处理后，向所述数据库发送持久化数据请求；

所述一级缓存装置用于向所述数据库查询符合所述查询请求的主键集合，以及根据所述主键集合生成一级分页主键集合并将所述一级分页主键集合返回至所述二级缓存装置；

所述二级缓存装置用于根据所述一级分页主键集合生成二级分页主键集合并将所述二级分页主键集合返回至所述中间件单元。

2.根据权利要求1所述的大数据量批处理系统，其特征在于，还包括：第一设置单元，设置所述一级缓存装置的一级缓存阈值；

所述一级缓存装置还用于在所述主键集合的数据量小于等于所述一级缓存阈值时，直接将所述一级分页主键集合返回至所述二级缓存装置，以及在所述主键集合的数据量大于所述一级缓存阈值时，建立并插入临时表，对所述临时表进行分页并将获取的主键返回至所述二级缓存装置。

3.根据权利要求1所述的大数据量批处理系统，其特征在于，还包括：

第二设置单元，设置所述二级缓存装置的二级缓存阈值；

所述二级缓存装置还用于在所述一级分页主键的数据量小于等于所述二级缓存阈值时，直接将所述二级分页主键集合返回至所述中间件单元，以及在所述主键集合的数据量大于所述二级缓存阈值时，将所述二级分页主键集合暂存于内存，从所述内存中取出每一页主键数据，根据所述每一页主键数据查询所述待处理数据。

4.根据权利要求3所述的大数据量批处理系统，其特征在于，所述中间件单元包括：

事务建立子单元，用于建立独立事务；

加锁子单元，用于对所述待处理数据添加中间件单元级别主键锁，对所述待处理数据进行处理，在处理结束后，对所述中间件单元级别锁进行解锁。

5.根据权利要求1至4中任一项所述的大数据量批处理系统，其特征在于，还包括：自识别装置，使所述一级缓存装置自适应多类型数据库。

6.一种大数据量批处理方法，其特征在于，包括以下步骤：

步骤402，中间件单元向一级缓存装置发送查询请求，数据库返回符合所述查询请求的主键集合至所述一级缓存装置；

步骤404，所述一级缓存装置根据所述主键集合生成一级分页主键集合并将所述一级分页主键集合返回至二级缓存装置；

步骤406，所述二级缓存装置根据所述一级分页主键集合生成二级分页主键集合并将所述二级分页主键集合返回至所述中间件单元；

步骤408，所述中间件单元根据所述二级分页主键集合向所述数据库查询待处理数据并再对所述待处理数据进行计算处理后，向所述数据库发送持久化数据请求。

7.根据权利要求6所述的大数据量批处理方法，其特征在于，所述步骤404具体包括：设置所述一级缓存装置的一级缓存阈值；

在所述主键集合的数据量小于等于所述一级缓存阈值时，直接将所述一级分页主键集合返回至所述二级缓存装置；

在所述主键集合的数据量大于所述一级缓存阈值时，建立并插入临时表，对所述临时表进行分页并将获取的主键返回至所述二级缓存装置。

8.根据权利要求6所述的大数据量批处理方法，其特征在于，所述步骤406具体包括：设置所述二级缓存装置的二级缓存阈值；

在所述一级分页主键的数据量小于等于所述二级缓存阈值时，直接将所述二级分页主键集合返回至所述中间件单元；

在所述主键集合的数据量大于所述二级缓存阈值时，将所述二级分页主键集合暂存于内存，从所述内存中取出每一页主键数据，根据所述每一页主键数据查询所述待处理数据。

9.根据权利要求6所述的大数据量批处理方法，其特征在于，所述步骤408具体包括：在所述中间件单元建立独立事务，对所述待处理数据添加中间件单元级别主键锁，对所述待处理数据进行处理，在处理结束后，对所述中间件单元级别锁进行解锁。

10.根据权利要求6至9中任一项所述的大数据量批处理方法，其特征在于，所述步骤404还包括，在所述一级缓存装置处，采用自识别装置自适应多类型数据库。