[发明专利]基于Spark的多维健康数据的统计分析方法及系统

权利要求书

1.一种基于Spark的多维健康数据的统计分析方法，其特征在于，包括如下步骤：

数据获取步骤：获取待分析的数据文件，接收预设的检索变量；

数据提取步骤：从所述待分析的数据文件中筛选出符合所述检索变量的待分析的健康数据；

统计分析步骤：若所述待分析的健康数据的数据量大于预设量，则将所述待分析的健康数据发送至Spark模块进行统计分析，并接收所述Spark模块反馈的统计分析结果；

结果显示步骤：显示所述统计分析结果。

2.根据权利要求1所述的基于Spark的多维健康数据的统计分析方法，其特征在于，在所述统计分析步骤中，还包括：

若所述待分析的健康数据的数据量小于或等于所述预设量，则将所述待分析的健康数据发送至由Kubernets系统和TensorFlow系统组成的云计算模块进行统计分析，并接收所述云计算模块反馈的统计分析结果。

3.根据权利要求1或2所述的基于Spark的多维健康数据的统计分析方法，其特征在于：

在所述数据获取步骤中：所述检索变量包括多个，不同检索变量用于从不同维度对所述待分析的数据文件进行筛选，得到多维的待分析的健康数据。

4.一种基于Spark的多维健康数据的统计分析系统，其特征在于，包括基本处理模块和Spark模块，其中：

所述基本处理模块包括数据获取单元、数据提取单元、统计分析单元和结果显示单元，其中：

所述数据获取单元获取待分析的数据文件，接收预设的检索变量；

所述数据提取单元从所述待分析的数据文件中筛选出符合所述检索变量的待分析的健康数据；

所述统计分析单元在所述待分析的健康数据的数据量大于预设量时，将所述待分析的健康数据发送至Spark模块；

所述Spark模块，用于接收所述待分析的健康数据，对所述待分析的健康数据进行统计分析，并将统计分析结果发送至所述统计分析单元；

所述结果显示单元显示所述统计分析结果。

5.根据权利要求4所述的基于Spark的多维健康数据的统计分析系统，其特征在于，还包括由Kubernets系统和TensorFlow系统组成的云计算模块：

所述统计分析单元在所述待分析的健康数据的数据量小于或等于所述预设量时，将所述待分析的健康数据发送至所述云计算模块；

所述计算资源服务模块对所述待分析的健康数据进行统计分析后，将统计分析结果发送至所述统计分析单元。

6.根据权利要求4或5所述的基于Spark的多维健康数据的统计分析系统，其特征在于：

所述数据获取单元接收的所述检索变量包括多个，不同检索变量用于从不同维度对所述待分析的数据文件进行筛选，得到多维的待分析的健康数据；

所述Spark模块，其包括多个处理单元，每一处理单元用于对一个维度的待分析的健康数据进行统计分析，且不同所述处理单元同步对多个维度的健康数据进行统计分析；每一所述处理单元将统计分析结果发送至所述统计分析单元。

7.根据权利要求6所述的基于Spark的多维健康数据的统计分析系统，其特征在于：

每一所述处理单元采用多线程方式对所一个维度的待分析的健康数据进行统计分析。

8.根据权利要求4-7任一项所述的基于Spark的多维健康数据的统计分析系统，其特征在于：

所述基本处理模块配置有云计算调用接口，所述基本处理模块通过所述云计算调用接口与Kubernets系统和TensorFlow系统进行数据通信。

9.根据权利要求8所述的基于Spark的多维健康数据的统计分析系统，其特征在于，还包括资源提供模块：

所述资源提供模块包括GPU服务器，CPU服务器与虚拟服务器，所述资源提供模块与所述云计算模块实现数据通信，为所述云计算模块提供计算资源。

10.根据权利要求9所述的基于Spark的多维健康数据的统计分析系统，其特征在于，还包括数据存储模块：

所述数据存储模块包括Hadoop分布式文件系统，用于接收并存储所述统计分析单元输出的统计分析结果。