[发明专利]一种数据分析方法、装置、设备及存储介质

说明书

本申请公开了一种数据分析方法，该方法包括：确定目标智能分析过程中使用的至少一个待分析数据源；基于至少一个待分析数据源，生成至少一个待分析数据源对应的目标有向无环图；从目标有向无环图中的目标路径的路径起点节点开始，按照目标路径的路径方向，基于属于同一数据源且路径节点相邻的关系，对目标路径中的路径节点进行分组，得到目标路径的至少一组路径节点；从目标路径的每一组路径节点对应的目标数据源中，按照目标路径的路径方向获取对应的每一组路径节点的节点数据并进行分析，确定目标路径的执行结果，从而降低了网络IO的开销，有效提高了BI分析的分析效率。本申请还公开了一种数据分析装置、设备及存储介质。

技术领域

本申请涉及数据统计领域，尤其涉及一种数据分析方法、装置、设备及存储介质。

背景技术

对交易过程中的交易数据进行分析的过程可以称为商业智能(BusinessIntelligence)分析。在传统的交易过程中，数据源的类型相对比较单一，但是随着大数据技术的普及，数据源的类型也越来越多样化，传统的BI分析工具也需逐渐适应多种不同类型数据源情况下的大数据查询与分析。目前，常用统一结构化查询语言(Structured QueryLanguage，SQL)查询引擎，来实现相同或不同类型数据源之间的跨数据源查询及分析，具体实现过程可以是对跨数据源进行SQL的代理与解析，生成抽象语法树(Abstract SyntaxTree，AST)，并将AST转换成逻辑执行计划后生成物理执行计划，根据物理执行计划执行每个子SQL，最终将每个子SQL的查询结果聚合，返回得到最终结果。

但是，在目前上述实现过程中针对某一个SQL时，需对同一数据源进行多次访问，这样，严重增加了网络输入输出(Input/Output，IO)的开销，亟需对这种缺陷进行优化。

申请内容

为解决上述技术问题，本申请期望提供一种数据分析方法、装置、设备及存储介质，解决了目前网络IO开销较大的问题，降低了网络IO的开销，有效提高了BI分析的分析效率。

本申请的技术方案是这样实现的：

第一方面，一种数据分析方法，所述方法包括：

确定目标智能分析过程中使用的至少一个待分析数据源；

基于所述至少一个待分析数据源，生成所述至少一个待分析数据源对应的目标有向无环图；其中，所述目标有向无环图包括k条路径，k为大于或等于1的整数；

从所述目标有向无环图中的目标路径的路径起点节点开始，按照所述目标路径的路径方向，基于属于同一数据源且路径节点相邻的关系，对所述目标路径中的路径节点进行分组，得到所述目标路径的至少一组路径节点；其中，所述目标路径用于表示所述k条路径中的每一条路径；

从所述目标路径的每一组路径节点对应的目标数据源中，按照所述目标路径的路径方向获取对应的每一组路径节点的节点数据并进行分析，确定所述目标路径的执行结果；其中，所述目标路径的每一组路径节点对应的目标数据源属于所述至少一个待分析数据源；

汇总所述k条路径的执行结果，得到针对目标智能分析的目标分析结果。

第二方面，一种数据分析装置，所述装置包括：确定单元、生成单元、处理单元和汇总单元；其中：

所述确定单元，用于确定目标智能分析过程中使用的至少一个待分析数据源；

所述生成单元，用于基于所述至少一个待分析数据源，生成所述至少一个待分析数据源对应的目标有向无环图；其中，所述目标有向无环图包括k条路径，k为大于或等于1的整数；

所述处理单元，用于从所述目标有向无环图中的目标路径的路径起点节点开始，按照所述目标路径的路径方向，基于属于同一数据源且路径节点相邻的关系，对所述目标路径中的路径节点进行分组，得到所述目标路径的至少一组路径节点；其中，所述目标路径用于表示所述k条路径中的每一条路径；