[发明专利]数据分析方法及装置、存储介质及电子装置

说明书

本发明公开了一种数据分析方法及装置、存储介质及电子装置，其中，上述方法包括：通过采集工具从多个数据库中采集多个第一数据，并获取所述多个第一数据对应的主键信息，其中，所述多个第一数据具有相同的数据结构；将包括有所述多个第一数据和所述主键信息的第二数据发送至数据缓存系统，以使所述数据缓存系统保存所述第二数据；从所述数据缓存系统中获取所述多个第二数据，并将从所述多个第二数据中提取的所述多个第一数据发送至目标数据库，以在所述目标数据库中对所述多个第一数据进行分析。采用上述技术方案，解决了在对数据进行分析的过程中，数据分散在大量的数据库中，导致无法集中对数据进行分析等问题。

技术领域

本发明涉及通信领域，具体而言，涉及一种数据分析方法及装置、存储介质及电子装置。

背景技术

随着社会的发展，越来越多的业务场景需要对数据进行实时处理，通常大数据量业务数据在分库分表后分布在几十上百个业务数据库中，此类数据往往数据结构统一，但数据分散，无法集中查询分析。并且传统数仓技术不支持更新，无法实时获取增量更新数据，因此在业务想要进行实时分析时有诸多不便。

针对相关技术中，在对数据进行分析的过程中，数据分散在大量的数据库中，导致无法集中对数据进行分析等问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据分析方法及装置、存储介质及电子装置，以至少解决在对数据进行分析的过程中，数据分散在大量的数据库中，导致进行无法集中进行分析等问题。

根据本发明实施例的一方面，提供一种数据分析方法，包括：通过采集工具从多个数据库中采集多个第一数据，并获取所述多个第一数据对应的主键信息，其中，所述多个第一数据具有相同的数据结构；将包括有所述多个第一数据和所述主键信息的第二数据发送至数据缓存系统，以使所述数据缓存系统保存所述第二数据；从所述数据缓存系统中获取所述多个第二数据，并将从所述多个第二数据中提取的所述多个第一数据发送至目标数据库，以在所述目标数据库中对所述多个第一数据进行分析。

进一步地，通过采集工具从多个数据库中采集多个第一数据，包括：确定所述采集工具对应的采集方式；基于所述采集方式从所述多个数据库中采集具有相同表名称的多个第一数据。

进一步地，将包括有所述多个第一数据和所述主键信息的第二数据发送至数据缓存系统，以使所述数据缓存系统保存所述第二数据，包括：通过所述采集工具配置所述数据缓存系统中的存储队列；将所述第二数据发送至所述存储队列，以使所述存储队列保存所述第二数据。

进一步地，将从所述多个第二数据中提取的所述多个第一数据发送至目标数据库之后，还包括：检测所述多个第一数据在所述多个数据库中对应的第一数据结构是否变化成了第二数据结构；在所述第一数据结构已变化为所述第二数据结构的情况下，将所述目标数据库的第一数据结构修改为所述第二数据结构。

进一步地，将从所述多个第二数据中提取的所述多个第一数据发送至目标数据库之前，所述方法还包括：获取目标对象配置的目标文件，其中，所述目标文件用于指示对所述目标数据库的配置信息；根据所述目标文件中指示的配置信息配置所述目标数据库。

进一步地，将从所述多个第二数据中提取的所述多个第一数据发送至目标数据库之后，还包括：通过所述目标数据库接收目标对象的查询请求，其中，所述查询请求携带有所述主键信息；根据所述主键信息从所述目标数据库中查询与所述主键信息对应的目标第一数据；通过所述目标对象编辑的结构化查询语句对所述目标第一数据进行分析。