[发明专利]数据处理方法、装置及存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括如下步骤：

获取实时的业务数据并同步至数据仓库中；

基于Airflow进行微批次任务调度，依次执行SQL任务脚本中的计算任务得到所述数据指标；所述SQL任务脚本用以根据业务逻辑从所述数据仓库中获取指标数据，并将所述指标数据进行筛选得到对应的数据指标，所述指标数据包括于所述业务数据。

2.根据权利要求1所述的方法，其特征在于，

在所述基于Airflow进行微批次任务调度，依次执行所述任务脚本中的计算任务的步骤中，具体包括如下步骤：

存储所述实时业务数据至分布式文件系统中；

依次将任务脚本中的计算任务建立有向无环图，所述有向无环图用以描述业务数据的计算过程；

设置任务调度参数；以及

根据所述有向无环图执行所述任务脚本中的计算任务。

3.根据权利要求2所述的方法，其特征在于，在根据所述有向无环图执行所述任务脚本中的计算任务步骤后，还包括如下步骤：

当所述计算任务的时间大于一阈值时，则对所述计算任务进行负载均衡或增加系统内存。

4.根据权利要求2所述的方法，其特征在于，

所述任务调度参数包括：计算时间范围、计算周期以及相同的有向无环图同时在线运行的最大个数；所述计算周期为8～15min。

5.根据权利要求1所述的方法，其特征在于，在所述依次执行所述任务脚本中的计算任务得到所述数据指标的步骤中，所述计算任务的计算过程具体为：

根据业务逻辑从所述数据仓库中获取指标数据；以及

根据筛选条件筛选得到对应的数据指标。

6.根据权利要求1所述的方法，其特征在于，还包括：

将所述计算数据导出至应用终端，由所述应用终端实时显示所述数据指标。

7.根据权利要求1所述的方法，其特征在于，

在所述获取实时业务数据并同步至数据仓库中的步骤之前，还包括如下步骤：

在所述数据仓库与数据库之间建立数据传输链路，所述数据库包括所述业务数据。

8.一种数据处理装置，其特征在于，包括：

获取模块，用以获取实时的业务数据并同步至数据仓库中；

计算模块，基于Airflow进行微批次任务调度，依次执行SQL任务脚本中的计算任务得到所述数据指标；所述SQL任务脚本用以根据业务逻辑获取指标数据，并进行筛选得到对应的数据指标，所述指标数据包括于所述业务数据中。

9.一种电子设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-7中任一项所述的数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-7中任一项所述的数据处理方法。