[发明专利]基于数据仓库的实时数据展示方法、装置、设备及介质

权利要求书

1.一种基于数据仓库的实时数据展示方法，其特征在于，所述方法包括：

响应于若干个数据采集请求，通过源数据层的数据接口实时采集所述数据采集请求对应的源数据后进行解析，得到实时消息流数据；

接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表；其中，所述分层设计为通过不同层的实时数据仓库对所述实时消息流数据进行对应不同层面级别的实时数据处理，且当前层实时数据仓库的数据处理对象为上一层实时数据仓库的数据处理结果；

响应于数据展示请求，根据所述数据展示请求中的业务需求信息对所述实时数据结果表进行组合加工，得到对应的数据报表后展示在前端定制页面上。

2.根据权利要求1所述的基于数据仓库的实时数据展示方法，其特征在于，在所述通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表步骤之前，还包括：

在接收所述实时数据任务后，对所述实时消息流数据进行消费幂处理，以判断该实时消息流数据是否已被消费；若是，则去除该实时消息流数据；若否，则发送该实时消息流数据至实时数据仓库。

3.根据权利要求1所述的基于数据仓库的实时数据展示方法，其特征在于，在所述接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表步骤之中，还包括：

若执行所述实时数据任务时接收到数据不准确的业务反映，判断代码或源数据是否出现bug，若是，则修复代码并立刻停止实时任务；在完成代码修复后，调整消息队列的Offset函数，调整完毕后判断是否支持任务重跑，若是，则直接重启实时任务，若否，则清空已持久化数据；在清空已持久化数据后，判断是否需要消费幂处理，若是，则在清空幂后重启实时任务，若否，则直接重启实时任务，完成实时数据仓库的数据修复。

4.根据权利要求1所述的基于数据仓库的实时数据展示方法，其特征在于，在所述接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表步骤之后，还包括：

采用与所述实时数据仓库相同的模型架构构建离线数据仓库；

在预设时间点对离线数据仓库进行消费后数据结果的批量计算，得到离线计算结果；

将所述离线计算结果与同一时间点消费后的实时数据仓库生成的数据结果进行比对；

在判断比对结果不一致后，对所述实时数据仓库进行实时数据补全。

5.根据权利要求1所述的基于数据仓库的实时数据展示方法，其特征在于，在所述接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表步骤之后，还包括：

通过编写固定时间边界的测试用例与相同时间边界的实时数据仓库进行数据验证。

6.根据权利要求1所述的基于数据仓库的实时数据展示方法，其特征在于，所述分层设计的实时数据仓库，包括：

数据贴源层，用于存储数据源数据层的数据接口实时采集的实时消息流数据；

细节数据层，用于对数据贴源层中的实时消息流数据进行数据清洗处理和数据加密处理；

数据中间层，用于对经过细节数据层数据清洗和加密后的实时消息流数据进行数据聚合，生成对应的不同维度的数据中间表；

数据汇总层，用于对数据中间层生成的不同维度的数据中间表进行整合汇总，生成用于分析不同主题域的服务数据汇总表；

数据集市层，用于根据服务数据汇总表搭建数据集市。

7.根据权利要求1所述的基于数据仓库的实时数据展示方法，其特征在于，所述实时数据结果表，包括：数据贴源层生成的实时消息流数据、细节数据层生成的实时数据基础表、数据中间层生成的数据中间表、数据汇总层生成的服务数据汇总表和数据集市层生成的实时看板结果表。