[发明专利]一种业务数据处理系统、方法、服务器和存储介质

说明书

本发明实施例公开了一种业务数据处理系统、方法、服务器和存储介质，该系统包括：数据仓库集市数据层，用于按照预设频率将各业务数据源的全量数据同步到数据仓库数据集市，并对所述全量数据进行处理，得到业务宽表全量数据；增量数据层，用于与所述各业务数据源对接，获取各业务数据源的实时增量数据，得到业务宽表增量数据；业务处理层，用于对所述业务宽表全量数据进行校验，并将经过校验的业务宽表全量数据与所述业务宽表增量数据进行数据融合得到目标业务宽表数据。通过本发明实施例的技术方案，可以实现多业务部门间繁琐对接流程的解耦，而且保障了多数据源的对接时数据的一致性。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种业务数据处理系统、方法、服务器和存储介质。

背景技术

目前，随着智能化数据管理需求的普及，业务方不仅仅关系实时数据的分析展示，同样关心历史日期同时刻下的对比数据，通过两部分数据对比分析，可以让业务人员更好的了解各项指标的数据趋势，把握业务动态，进而更好的执行计划和指导实际的生产操作。

目前，常规的业务对接方案是通过如图1所示的数据处理框架来完成的，不同的数据源均通过接口调用的方式将全量数据一次同步到业务方的数据库中生成业务宽表全量数据。

但是，在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题：随着自身业务模型的发展，自身业务宽表将对接多个系统获取基础宽表数据，将全量数据一次性对接，不能保证数据异构后的事务一致性。

发明内容

本发明实施例提供了一种业务数据处理系统、方法、服务器和存储介质，以减少同步全量数据时不同业务数据源之间的耦合，并能保证数据的一致性与准确性。

第一方面，本发明实施例提供了一种业务数据处理系统，该系统包括：

数据仓库集市数据层，用于按照预设频率将各业务数据源的全量数据同步到数据仓库数据集市，并对所述全量数据进行处理，得到业务宽表全量数据；

增量数据层，用于与所述各业务数据源对接，获取各业务数据源的实时增量数据，得到业务宽表增量数据；

业务处理层，用于对所述业务宽表全量数据进行校验，并将经过校验的业务宽表全量数据与所述业务宽表增量数据进行数据融合得到目标业务宽表数据。

可选的，所述数据仓库集市数据层具体用于：

以天为单位，每天将当前数据同步时刻之前的所述各业务数据源的全量数据同步到所述数据仓库数据集市并记录数据同步的时间戳；

按照当前业务方的业务模型将所述全量数据进行整合得到当日业务宽表全量数据；

将所述当日业务宽表全量数据以及所述时间戳推送到所述当前业务方的业务数据库。

可选的，所述业务处理层对所述业务宽表全量数据进行校验，包括：

确定所述各业务数据源的全量数据是否发生变化；

若是，则根据变化后的全量数据更新所述当日业务宽表全量数据。

可选的，所述业务处理层进行数据融合时，通过调用Job任务在预设时间，将所述当日业务宽表全量数据和所述时间戳后的增量数据进行去重合并得到当日目标业务宽表数据。

可选的，所述增量数据层通过消息队列方式对接所述各业务数据源。

可选的，所述业务处理层在进行数据融合前还用于对所述业务宽表增量数据进行数据校验和过滤。

可选的，所述业务处理层将所述业务宽表增量数据存储到MySQL数据库中，并使用分布式锁以保证所述各业务数据源增量数据的事务一致性。