[发明专利]数据分析方法、系统、电子设备和存储介质

权利要求书

1.一种数据分析方法，其特征在于，包括：

抽取数据源数据库的日志数据集；

对所述日志数据集进行第一数据处理后存储至doris数据库；

根据所述第一数据处理后的日志数据集对所述doris数据库保存的数据集合进行更新，并对更新后的所述数据集合进行数据分析得到数据分析结果。

2.根据权利要求1所述的方法，其特征在于，所述抽取数据源数据库的日志数据集前，所述方法还包括：

获取所述数据源数据库中存储的全部源数据；

对所述源数据进行第二数据处理后添加至所述doris数据库中，形成所述数据集合。

3.根据权利要求2所述的方法，其特征在于，所述对所述源数据进行第二数据处理，包括：

对所述源数据进行抽取，形成csv文件；

使用spark工具对所述csv文件形式的所述源数据进行数据规范化处理，所述数据规范化处理包括数据清洗、数据整合、数据合并、数据转化中的任意一种或多种。

4.根据权利要求1所述的方法，其特征在于，所述抽取数据源数据库的日志数据集，包括：

使用变更数据捕获技术和/或OGG技术从所述数据源数据库中抽取所述日志数据集。

5.根据权利要求1所述的方法，其特征在于，所述对所述日志数据集进行第一数据处理后存储至doris数据库，包括：

预设Kafka消息队列，并创建若干Kafka Topic；

对所述日志数据集进行分类得到若干子类日志数据集；

将所述若干子类日志数据集一一对应的添加至所述若干Kafka Topic中；

将所述若干子类日志数据集经由所述若干Kafka Topic存储至所述doris数据库。

6.根据权利要求5所述的方法，其特征在于，所述将所述若干子类日志数据集一一对应的添加至所述若干Kafka Topic中前，所述方法还包括：

启动spark streaming任务；

将所述若干子类日志数据集分别经由所述spark streaming任务进行数据规范化处理，所述数据规范化处理包括数据清洗、数据整合、数据合并、数据转化中的任意一种或多种。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述日志数据集为所述数据源数据库的binlog日志数据集。

8.一种数据分析系统，其特征在于，包括：

数据接入模块，所述数据接入模块用于抽取数据源数据库的日志数据集；

数据处理模块，所述数据处理模块用于对所述日志数据集进行第一数据处理；

doris数据库，所述doris数据库用于接收所述第一数据处理后的日志数据集，并根据所述日志数据集对所述doris数据库保存的数据集合进行更新，并对更新后的所述数据集合进行数据分析得到数据分析结果；

通信模块，所述通信模块用于将所述数据分析结果发送至预设终端进行显示。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的数据分析方法。

10.一种存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行实现权利要求1至7中任意一项所述的数据分析方法。