[发明专利]一种多线程并发的数据指标批量处理方法、装置及存储介质

权利要求书

1.一种多线程并发的数据指标批量处理方法，其特征在于，包括以下步骤：

获取全量指标作业清单，及其每个指标作业对应的依赖任务清单；

根据不同的指标类型，对所述全量指标作业清单中的指标作业和所述依赖任务清单中的依赖任务，配置对应的作业计算类型和计算公式；

判断所述指标作业对应的依赖任务是否完成；若是，则判定所述指标作业满足并发条件；

对满足并发条件的所述指标作业创建合并队列；并根据不同的作业计算类型，对所述合并队列中的指标作业进行整合，形成并发计算队列；

对所述并发计算队列中的指标作业进行并发计算；

其中，对所述合并队列中的指标作业进行整合，是指将维度一致的指标自动合并和统一计算；所述指标的维度包括机构级别维度、客户级别维度、产品级别维度中的任一种或两种以上维度；每个维度指标对应的指标类型包括基础指标、衍生指标、融合指标中的任一种或两种以上类型；对所述并发计算队列中的指标作业进行并发计算，是指对不同维度的指标进行线程级别的并发；所述并发计算，是根据不同的作业计算类型配置不同的计算模板，所述计算模板包括计算指标的维度和计算的内容；所述合并队列中的指标作业与所述计算模板进行匹配后，整合形成完整算法，再进入所述计算队列进行并发计算。

2.根据权利要求1所述的多线程并发的数据指标批量处理方法，其特征在于：所述作业计算类型包括SQL、DTL、CAL、BTL、MTL、HGJ、BLCAL中的任一种或两种以上类型；所述作业计算类型对应的技术公式类型包括SQL公式、DTL公式、CAL公式、BTL公式、MTL公式、HGJ公式、BLCAL公式中的任一种或两种以上类型。

3.根据权利要求1所述的多线程并发的数据指标批量处理方法，其特征在于：所述依赖任务清单中的依赖任务包括内部依赖任务和外部依赖任务，所述外部依赖任务由批量调度系统执行，并对已成功完成作业任务的外部依赖任务实时更新至所述依赖任务清单；同时，对已成功完成作业任务的内部依赖任务也实时更新至所述依赖任务清单。

4.根据权利要求1所述的多线程并发的数据指标批量处理方法，其特征在于：所述线程级别的并发，是通过设置线程池，所述线程池包括一个以上的线程，每个线程支持运行一项指标作业的计算，所述线程池中的线程数量大于或等于所述计算队列中的指标作业的数量。

5.一种多线程并发的数据指标批量处理系统，其特征在于，包括：

指标配置模块，用于获取全量指标作业清单，及其每个指标作业对应的依赖任务清单；

计算公式配置模块，用于根据不同的指标类型，对所述全量指标作业清单中的指标作业和所述依赖任务清单中的依赖任务，配置对应的作业计算类型和计算公式；

依赖判定模块，用于判断所述指标作业对应的依赖任务是否完成；若是，则判定所述指标作业满足并发条件；

高并发指标计算模块，用于对满足并发条件的所述指标作业创建合并队列；并根据不同的作业计算类型，对所述合并队列中的指标作业进行整合，形成并发计算队列；对所述并发计算队列中的指标作业进行并发计算；

其中，对所述合并队列中的指标作业进行整合，是指将维度一致的指标自动合并和统一计算；所述指标的维度包括机构级别维度、客户级别维度、产品级别维度中的任一种或两种以上维度；每个维度指标对应的指标类型包括基础指标、衍生指标、融合指标中的任一种或两种以上类型；对所述并发计算队列中的指标作业进行并发计算，是指对不同维度的指标进行线程级别的并发；所述并发计算，是根据不同的作业计算类型配置不同的计算模板，所述计算模板包括计算指标的维度和计算的内容；所述合并队列中的指标作业与所述计算模板进行匹配后，整合形成完整算法，再进入所述计算队列进行并发计算。

6.一种根据权利要求5所述的多线程并发的数据指标批量处理系统，其特征在于，所述批量处理系统为批量调度系统的子作业系统，由批量调度系统在特定时间点唤醒执行；或者，所述批量处理系统为独立系统，并在执行过程中从批量调度系统获取所述依赖任务清单。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有多线程并发的数据指标批量处理程序，所述多线程并发的数据指标批量处理程序被处理器执行时实现如权利要求1至4任一项所述的多线程并发的数据指标批量处理方法的步骤。