[发明专利]公共层宽表建设方法、装置及服务器

权利要求书

1.一种公共层宽表建设方法，应用于流式计算平台，所述方法包括：

根据预设延时时长，延时获取主业务表中的主增量数据，所述主业务表以及与所述主业务表相关的至少一个副业务表属于同一业务系统；

对目标数据库中每个与所述主业务表相关的热点数据表进行检索，获取与所述主增量数据匹配的目标热点数据，所述目标热点数据与所述热点数据表对应的副业务表中副增量数据对应；

将所述目标热点数据与所述主业务表中的主增量数据进行拼接处理，形成写入离线批处理平台的拼接结果数据，使得所述离线批处理平台处理所述拼接结果数据表，以产出小时级公共层宽表。

2.如权利要求1所述的公共层宽表建设方法，还包括：

实时获取所述业务系统中每个副业务表产生的副增量数据；

对每个副业务表产生的副增量数据进行流式预处理；

将每个副业务表对应的流式预处理后的副增量数据存储至所述目标数据库中对应的热点数据表下。

3.如权利要求2所述的公共层宽表建设方法，所述实时获取所述业务系统中每个副业务表产生的副增量数据，包括：

实时从实时数据流复制中心获取所述副增量数据，其中，所述副增量数据由所述实时数据流复制中心解析每个副业务表的数据修改日志得到，每个副业务表的数据修改日志为对应副业务表发生数据变更所产生。

4.如权利要求2所述的公共层宽表建设方法，所述对每个副业务表产生的副增量数据进行流式预处理，包括：

对每个副业务表产生的副增量数据进行数据记录的行合并和/或数据记录的行筛选，得到目标入库数据，所述目标入库数据中数据记录与所述主增量数据中数据记录一一对应；

确定出所述主增量数据中每行数据记录的主键值；

针对所述主增量数据中每行数据记录，对该行数据记录的主键值进行加盐处理，形成所述目标入库数据中对应行数据记录的关联主键值。

5.如权利要求2所述的公共层宽表建设方法，所述对每个副业务表产生的副增量数据进行流式预处理，包括：

将所述主增量数据中每行数据记录的主键值与所述副增量数据中对应行数据记录的主键值进行拼接，形成所述副增量数据中每行数据记录的关联主键值。

6.如权利要求5所述的公共层宽表建设方法，所述对目标数据库中每个与所述主业务表相关的热点数据表进行检索，获取与所述主增量数据匹配的目标热点数据，包括：

根据所述主增量数据中每行数据记录的主键值及其对应的关联主键值，在与所述主业务表相关的热点数据表中确定出与所述主增量数据匹配的全量热点数据记录；

根据所述主增量数据中每行数据记录，对所述全量热点数据记录中对应的热点数据记录进行行合并处理，和/或根据所述全量热点数据记录对所述主增量数据中对应的数据记录进行行拆分处理，得到所述目标热点数据。

7.如权利要求2所述的公共层宽表建设方法，所述将每个副业务表对应的流式预处理后的副增量数据存储至所述目标数据库中对应的热点数据表下，包括：

对被存入所述目标数据库中对应的热点数据表下的每行数据记录设置生存时间，所述生存时间是对应行数据记录保留在所述热点数据表中的时长。

8.如权利要求1-7中任一所述的公共层宽表建设方法，所述对目标数据库中每个与所述主业务表相关的热点数据表进行检索，包括：

创建对所述目标数据库的单次连接；

基于所述单次连接，对所述目标数据库中每个与所述主业务表相关的热点数据表进行检索。

9.如权利要求1所述的公共层宽表建设方法，所述根据预设延时时长，延时获取主业务表中的主增量数据，包括：

根据所述预设延时时长，延时从实时数据流复制中心获取所述主增量数据，其中，所述主增量数据由所述实时数据流复制中心解析所述主业务表发生数据变更时的数据修改日志得到，并被实时写入至所述实时数据流复制中心。