[发明专利]大数据整合处理方法、系统和存储介质

说明书

本发明公开了一种大数据整合处理方法、系统和存储介质。该方法包括以下步骤：响应于数据获取请求，通过埋点分析，获取目标数据，并存储在消息队列中；响应于数据同步请求，利用异构数据源数据同步方法，将目标数据从消息队列同步至目标数据库；当目标数据同步完成，利用数据拉通方法，从目标数据库中提取每一份待处理数据的所有用户标识，并根据用户标识，关联所有待处理数据，得到关联结果；根据关联结果和预设的第一模板文件，生成目标表；根据目标表，配置并生成元数据。本发明公开的一种大数据整合处理方法、系统和存储介质，使用户可以通过元数据对记载在目标表上的准确率更高的数据进行查询和分析，有利于提高查询和分析的准确率。

技术领域

本发明涉及数据处理技术领域，特别涉及一种大数据整合处理方法、系统和存储介质。

背景技术

随着互联网的发展，客户数据平台应运而生。该客户数据平台用于提供客户数据，以便于企业对该客户数据进行分析。但是，目前的分析方法只是利用客户数据平台对该客户数据进行固定维度的分析，分析方式较为单一，且客户数据样本较少，得到的分析结果不够准确，导致企业依据该分析结果进行营销时，效果不佳。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种大数据整合处理方法，能够提高数据分析的准确度。

本发明还提出一种大数据整合处理系统。

本发明还提出一种包括上述大数据整合处理方法的存储介质。

根据本发明第一方面实施例的大数据整合处理方法，包括以下步骤：响应于数据获取请求，通过埋点分析，获取目标数据，并存储在消息队列中；响应于数据同步请求，利用异构数据源数据同步方法，将所述目标数据从所述消息队列同步至目标数据库；当所述目标数据同步完成，利用数据拉通方法，从所述目标数据库中提取每一份待处理数据的所有用户标识，并根据所述用户标识，关联所有所述待处理数据，得到关联结果；根据所述关联结果和预设的第一模板文件，生成目标表；根据所述目标表，配置并生成元数据。

根据本发明实施例的大数据整合处理方法，至少具有如下有益效果：通过埋点分析获取目标数据，目标数据包括一方数据、二方数据和三方数据，即多方的目标数据，再通过异构数据源数据同步方法将目标数据同步至目标数据库，目标数据同步至目标数据库后，即为待处理数据，以便于后续处理；利用数据拉通方法，将目标数据库中的待处理数据进行关联，得到关联结果，以便于将来源不同的各个待处理数据建立联系；而根据关联结果和预设的第一模板文件，生成目标表，该目标表记录了多方的目标数据，并根据目标表配置元数据，以便于后续对整理好的数据进行查询。通过大数据整合处理方法，获取多方目标数据，并将多方目标数据同步并建立联系，且配置元数据以实现快速查询，有利于通过元数据对记录在目标表上的多方目标数据进行多个维度的查询和分析，有利于提高分析的准确度。

根据本发明的一些实施例，所述当所述目标数据同步完成，利用数据拉通方法，从所述目标数据库中提取每一份待处理数据的所有用户标识，并根据所述用户标识，关联所有所述待处理数据，得到关联结果，包括以下步骤：当所述目标数据同步完成，根据预设的标识类型，从所述目标数据库中提取每一份所述待处理数据的所有所述用户标识；根据所述用户标识及预设的关联规则，关联具有相同所述用户标识的所有所述待处理数据，得到所述关联结果。

根据本发明的一些实施例，所述当所述目标数据同步完成，利用数据拉通方法，从所述目标数据库中提取每一份待处理数据的所有用户标识，并根据所述用户标识，关联所有所述待处理数据，得到关联结果，包括以下步骤：当所述目标数据同步完成，利用IDmapping方法，从所述目标数据库中提取每一份所述待处理数据的所有所述用户标识；根据所有所述用户标识，生成用于图计算的点集合与边集合；根据所述点集合与所述边集合，生成并得到构造图；根据所述构造图，利用最大连通子图算法计算得到所述关联结果。