[发明专利]一种基于流数据的实时建宽表的方法

权利要求书

1.一种基于流数据的实时建宽表的方法，其特征在于，所述方法至少包括以下步骤：

数据引擎采集数据，保存至数据库中；

将采集到的所述数据转化为结构化数据；

将所述结构化数据保存到数据缓存库；

模型计算引擎接收数据更新事件，根据所述结构化数据与目标模型是否存在映射关系，提取与目标主表相关联的所述结构化数据，更新到所述目标主表中；

所述数据引擎采集数据的同时，日志采集器形成数据日志，并将所述数据日志保存到所述数据缓存库的日志存储中心；

所述日志存储中心将所述数据日志与任务采集器同步，从而实现数据日志与用户目标数据库的共享；

所述模型计算引擎接收数据更新事件，包括：

所述模型计算引擎接收到的数据更新日志；

发送数据库共享关联指令；

若数据日志与用户目标数据库的共享成功，逐步判断所述数据更新日志是否包含日志采集任务，所述日志采集任务是否包含所需要的表，所述日志采集任务的起始采集时间是否早于上一次同步任务的起始时间，如是，则通过所述日志存储中心读取数据日志，作为增量数据日志；

若数据日志与用户目标数据库的共享不成功，或所述数据更新日志不包含日志采集任务，或所述日志采集任务不包含所需要的表，或所述日志采集任务的起始采集时间晚于上一次同步任务的起始时间，则所述模型计算引擎直接读取所述数据库中的数据日志，作为增量数据日志；

对于与目标模型存在映射关系的所述结构化数据，从所述数据缓存库中查询含有该结构化数据的表，即子表，将所述子表与目标主表数据合并，更新目标主表；

对于与目标模型不存在映射关系的所述结构化数据，将该结构化数据写入数据缓存库的子表缓存表中，根据新建立的映射关系，将子表更新到目标主表中；

所述数据缓存库为MongoDB。

2.根据权利要求1所述的方法，其特征在于，所述结构化数据保存在所述数据缓存库的统一数据缓冲层中。

3.根据权利要求2所述的方法，其特征在于，所述统一数据缓冲层为FDM层。