[发明专利]一种基于流数据的实时建宽表的方法

说明书

本申请公开了一种基于流数据的实时建宽表方法,至少包括以下步骤：数据引擎采集数据，保存至数据库中；将采集到的所述数据转化为结构化数据；将所述结构化数据保存到数据缓存库；模型计算引擎接收数据更新事件，根据所述结构化数据与目标模型是否存在映射关系，提取与目标主表相关联的所述结构化数据，更新到所述目标主表中。该方法具有实时性高、灵活性高、快速响应、全局模型关联、支持跨库乱序的特性。

技术领域

本申请涉及一种基于流数据的实时建宽表的方法，属于数据处理领域。

背景技术

无论是传统数仓建设，还是现代数据驱动的应用业务，大部分的数据开发工作就是要构建一些新的数据表，为各种分析模型或业务模型服务。特别是互联网公司由于数据量普遍偏大，多表关联的方式通常不会被采用。这种情况下构建宽表用于支持各种业务查询是非常主流的数据开发工作。

传统的建模、建表都是基于SQL来完成的。基于SQL的方式有这些局限性：

1、目标模型表和原始表数据脱节：

SQL是基于一个固定数据集来进行查询计算并输出到目标表的方式，适合于定期批量运算。如果涉及到的原始表比较大，那这种操作往往会需要执行数分钟甚至数小时，这样会造成目标的数据无法反应当前真实的状态。

2、并发任务性能瓶颈：

由于传统建模的全表计算模式，在数仓内同时进行的任务基本不能超过2-3个。这个严重限制了传统数据平台跑批建模的能力。

发明内容

根据本申请的一个方面，提供了一种基于流数据的实时建宽表的方法，该方法具有实时性高、灵活性高、快速响应、全局模型关联、支持跨库乱序的特性。

基于流数据的实时建宽表的方法，至少包括以下步骤：

数据引擎采集数据，保存至数据库中；

将采集到的所述数据转化为结构化数据；

将所述结构化数据保存到数据缓存库；

模型计算引擎接收数据更新事件，根据所述结构化数据与目标模型是否存在映射关系，提取与目标主表相关联的所述结构化数据，更新到所述目标主表中。

可选地，所述数据缓存库为MongoDB。

可选地，所述结构化数据保存在所述数据缓存库的统一数据缓冲层中。

可选地，所述统一数据缓冲层为FDM层。

可选地，所述数据引擎采集数据的同时，日志采集器形成数据日志，并将所述数据日志保存到所述数据缓存库的日志存储中心；

所述日志存储中心将所述数据日志与任务采集器同步，从而实现数据日志与用户目标数据库的共享。

可选地，所述模型计算引擎接收数据更新事件，包括：

所述模型计算引擎接收到的数据更新日志；

发送数据库共享关联指令；

若数据日志与用户目标数据库的共享成功，逐步判断所述数据更新日志是否包含日志采集任务，所述日志采集任务是否包含所需要的表，所述日志采集任务的起始采集时间是否早于上一次同步任务的起始时间，如是，则通过所述日志存储中心读取数据日志，作为增量数据日志；

若数据日志与用户目标数据库的共享不成功，或所述数据更新日志不包含日志采集任务，或所述日志采集任务不包含所需要的表，或所述日志采集任务的起始采集时间晚于上一次同步任务的起始时间，则所述模型计算引擎直接读取所述数据库中的数据日志，作为增量数据日志。