[发明专利]数据分析方法、系统、电子设备和存储介质

说明书

本发明的实施例提供了一种数据分析方法、系统、电子设备及存储介质，涉及大数据领域。其中，数据分析方法，包括：抽取数据源数据库的日志数据集；对所述日志数据集进行第一数据处理后存储至doris数据库；根据所述第一数据处理后的日志数据集对所述doris数据库保存的数据集合进行更新，并对更新后的所述数据集合进行数据分析得到数据分析结果。与现有技术相比，本发明实施例所提供的数据分析方法、系统、电子设备及存储介质具有实现多维度的实时数据分析的优点。

技术领域

本发明涉及大数据领域，具体而言，涉及一种数据分析方法、系统、电子设备和存储介质。

背景技术

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动，数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物，统计学对于数学的研究有很大的帮助，在信息技术大环境下将统计学与数学的研究结合起来会比较方便学术研究。

随着大数据时代的来临，现今阶段互联网上面的应用所产生的数据都已经被信息化，各大公司的业务需求和内部决策对于数据分析的实时性和数据分析的维度数量的要求越来越迫切，需要多维度的实时数据分析的能力来赋能。传统的数据分析方法已经无法满足用户对数据分析的实时性和数据分析的维度数量的要求。

发明内容

本发明的目的包括，例如，提供了一种数据分析方法、系统、电子设备和存储介质，其能够实现多维度的实时数据分析。

本发明的实施例可以这样实现：第一方面，本发明提供一种数据分析方法，包括：抽取数据源数据库的日志数据集；对所述日志数据集进行第一数据处理后存储至doris数据库；根据所述日志数据集对所述doris数据库保存的数据集合进行更新，并对更新后的所述数据集合进行数据分析得到数据分析结果；将所述数据分析结果发送至预设终端进行显示。

第二方面，本发明提供一种数据分析系统，包括：数据接入模块，所述数据接入模块用于抽取数据源数据库的日志数据集；数据处理模块，所述数据处理模块用于对所述日志数据集进行第一数据处理；doris数据库，所述doris数据库用于接收第一数据处理后的所述日志数据，并根据所述日志数据集对所述doris数据库保存的数据集合进行更新，并对更新后的所述数据集合进行数据分析得到数据分析结果；通信模块，所述通信模块用于将所述数据分析结果发送至预设终端进行显示。

第三方面，本发明提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前述实施方式中任意一项所述的数据分析方法。

第四方面，本发明提供一种存储介质，存储有计算机程序，所述计算机程序被处理器执行实现前述实施方式中任意一项所述的数据分析方法。

与现有技术相比，在本发明实施例所提供的数据分析方法、系统、电子设备和存储介质中，将数据源数据库的日志数据集进行第一数据处理后存储到doris数据库，由于日志数据集中的数据中存在数据源数据库中实时进行的数据增量信息，将日志数据集存储到doris数据库中对所述doris数据库保存的数据集合进行更新，对更新后的数据集合进行数据分析得到的数据分析结果中即包含了数据源数据库中的数据的实时增量信息，从而保证数据分析结果的实时性；此外，doris数据库具备多维度的数据分析能力，使用doris数据库对更新后的数据集合进行数据分析可以提升数据分析方法的多维度分析性能。