[发明专利]一种基金审计的去重指标计算方法、装置及设备

说明书

本申请属于数据计算领域，公开了一种基金审计的去重指标计算方法、装置及设备，能够预先将各类基金的业务数据编码成INT型编码数据存储在全局字典表中；然后将公司存储在数据库中业务基金运行时的明细数据，按照业务维度分组后，每组数据与全局字典表中的INT型编码数据进行匹配，匹配后的结果排列形成bit数据流，每个业务维度对应的bit数据流进行关联后，列表存储，bit是计算机计算中的基本计算单元，将原有的存储容量减少几十倍，根据逻辑计算公式进行运算时，通过较少的bit操作即可实现跨业务维度的快速聚合计算,通过这样的方法大大提升了去重指标在计算时的效率，且节省了存储和计算时所使用硬件成本。

技术领域

本申请涉及数据计算技术领域，特别是涉及一种基金审计的去重指标计算方法、装置及设备。

背景技术

在基金审计智能分析类系统中有一类指标的计算对资源的消耗以及占用时间是非常高的，这一类指标就是去重指标，比如用户希望分析参保人数、就诊人数这类指标时，在物理层面计算指标执行时需要将去重的全部明细对象数据从磁盘中读取出来，将数据保存在内存中，对其进行排序，再计算。当去重的数据达到千万、上亿、百亿时对内存占用消耗巨大。即使这样过多明细数据的实时计算仍然会导致页面展示去重指标时性能过低，不能够得到良好的用户体验。

目前对去重指标进行计算时明细数据在内存中进行，在内存不足时，将部分计算好的结果保存在磁盘空间中，性能低下，或使用分布式的方式处理，将一个节点的内存压力分散到多个节点上进行计算，消耗过多的硬件资源。

发明内容

有鉴于此，本申请提供了一种基金审计的去重指标计算方法、装置及设备。主要目的在于解决目前的基金审计的去重指标计算时占用的内存资源较多且耗时较长的技术问题。

依据本申请的第一方面，提供了一种基金审计的去重指标计算方法，所述方法的步骤包括：

获取各类基金的业务数据，将每个业务数据作为去重对象；

将所述去重对象进行编码生成相应的INT型编码数据；

将所述INT型编码数据与所述去重对象进行一一对应，并进行排列添加至全局字典表中；

提取数据库中的明细数据，对所述明细数据按照业务维度进行划分，得到至少一组业务维度数据，其中，每组业务维度数据包括至少一个明细数据；

将所述业务维度数据中的至少一个明细数据，与所述全局字典表中的INT型编码数据进行匹配，将匹配结果按照匹配的顺序进行排列形成bit数据流，其中，匹配结果包括匹配成功或匹配失败，每组业务维度数据对应一个bit数据流；

将每组业务维度数据与bit数据流进行关联，并列表存储；

获取待计算业务维度的逻辑计算公式，从所述列表中查找待计算业务维度对应的待计算bit数据流；

将所述待计算bit数据流根据所述逻辑计算公式进行运算得到去重指标。

依据本申请的第二方面，提供了一种基金审计的去重指标计算装置，所述装置包括：

获取模块，用于获取各类基金的业务数据，将每个业务数据作为去重对象；

编码模块，用于将所述去重对象进行编码生成相应的INT型编码数据；

字典表生成模块，用于将所述INT型编码数据与所述去重对象进行一一对应，并进行排列添加至全局字典表中；

提取划分模块，用于提取数据库中的明细数据，对所述明细数据按照业务维度进行划分，得到至少一组业务维度数据，其中，每组业务维度数据包括至少一个明细数据；