[发明专利]大数据整合处理方法、系统和存储介质

权利要求书

1.一种大数据整合处理方法，其特征在于，包括以下步骤：

响应于数据获取请求，通过埋点分析，获取目标数据，并存储在消息队列中；

响应于数据同步请求，利用异构数据源数据同步方法，将所述目标数据从所述消息队列同步至目标数据库；

当所述目标数据同步完成，利用数据拉通方法，从所述目标数据库中提取每一份待处理数据的所有用户标识，并根据所述用户标识，关联所有所述待处理数据，得到关联结果；

根据所述关联结果和预设的第一模板文件，生成目标表；

根据所述目标表，配置并生成元数据。

2.根据权利要求1所述的大数据整合处理方法，其特征在于，所述当所述目标数据同步完成，利用数据拉通方法，从所述目标数据库中提取每一份待处理数据的所有用户标识，并根据所述用户标识，关联所有所述待处理数据，得到关联结果，包括以下步骤：

当所述目标数据同步完成，根据预设的标识类型，从所述目标数据库中提取每一份所述待处理数据的所有所述用户标识；

根据所述用户标识及预设的关联规则，关联具有相同所述用户标识的所有所述待处理数据，得到所述关联结果。

3.根据权利要求1所述的大数据整合处理方法，其特征在于，所述当所述目标数据同步完成，利用数据拉通方法，从所述目标数据库中提取每一份待处理数据的所有用户标识，并根据所述用户标识，关联所有所述待处理数据，得到关联结果，包括以下步骤：

当所述目标数据同步完成，利用IDmapping方法，从所述目标数据库中提取每一份所述待处理数据的所有所述用户标识；

根据所有所述用户标识，生成用于图计算的点集合与边集合；

根据所述点集合与所述边集合，生成并得到构造图；

根据所述构造图，利用最大连通子图算法计算得到所述关联结果。

4.根据权利要求1所述的大数据整合处理方法，其特征在于，所述第一模板文件包括用户模板文件和事件模板文件，所述根据所述关联结果和预设的第一模板文件，生成目标表，包括以下步骤：

根据所述关联结果和所述用户模板文件，生成用户表；

根据所述关联结果和所述事件模板文件，生成事件表。

5.根据权利要求4所述的大数据整合处理方法，其特征在于，所述根据所述目标表，配置并生成元数据，包括以下步骤：

根据所述用户表和所述事件表，配置所述元数据，生成可视化的用户属性表、用户行为表和行为属性表。

6.根据权利要求1所述的大数据整合处理方法，其特征在于，所述响应于数据同步请求，利用异构数据源数据同步方法，将所述目标数据从所述消息队列同步至目标数据库，包括以下步骤：

响应于所述数据同步请求，根据所述数据同步请求和预设的配置模板，生成同步配置信息；

根据所述同步配置信息，从所述消息队列的所述目标数据中抽取待同步数据；

根据所述同步配置信息，将所述待同步数据写入所述目标数据库。

7.根据权利要求1所述的大数据整合处理方法，其特征在于，还包括以下步骤：

响应于查询请求，读取所述查询请求中的查询目标；

根据所述查询目标、所述元数据和预设的第二模板文件，生成查询结果。

8.一种大数据整合处理系统，其特征在于，包括：

数据获取模块，所述数据获取模块用于响应于数据获取请求，通过埋点分析，获取目标数据，并存储在消息队列中；

数据同步模块，所述数据同步模块用于响应于数据同步请求，利用异构数据源数据同步方法，将所述目标数据从所述消息队列同步至目标数据库；

数据整合模块，所述数据整合模块用于利用数据拉通方法，从所述目标数据库中提取每一份待处理数据的所有用户标识，并根据所述用户标识，关联所有所述待处理数据，得到关联结果；

数据写入模块，所述数据写入模块用于根据所述关联结果和预设的第一模板文件，生成目标表；

配置模块，所述配置模块用于根据所述目标表，配置并生成元数据。