[发明专利]基于车联网的数据分析平台和方法

权利要求书

1.一种基于车联网的数据分析平台，其特征在于，包括依次连接的数据来源层、数据存储层、数据计算分析层和交互界面；

其中，所述数据来源层，包括车联网数据池的通信接口和/或存储车辆相关信息的关系型数据库的通信接口，用于通过所述通信接口抽取所需数据；

所述数据存储层，用于对抽取到的数据进行存储；

所述数据计算分析层，基于分布式架构，用于根据任务，调度所需分析资源读取并处理所述数据存储层中存储的数据，得到分析结果；

所述数据存储层，还用于存储所述分析结果；

所述交互界面，用于展示所述分析结果。

2.根据权利要求1所述的基于车联网的数据分析平台，其特征在于，所述数据计算分析层基于Spark云计算架构和/或基于MapReduce计算架构；所述数据计算分析层，包括：

YARN模块，用于调度各任务所占用的分析资源；

Azkaban模块，用于调度各任务的执行顺序。

3.根据权利要求1所述的基于车联网的数据分析平台，其特征在于，所述数据存储层，包括：HIVE数据仓库和HBase分布式存储架构；

所述HBase分布式存储架构，用于以列存储格式存储数据，以及用于将列存储格式转化为表格式存储格式；

所述HIVE数据仓库，用于存储转化后的表格式存储格式的数据，以及用于存储所述分析结果。

4.根据权利要求3所述的基于车联网的数据分析平台，其特征在于，所述HBase分布式存储架构包括用于存储的HBase模块，以及用于对需存储的数据进行管理的HDFS模块。

5.根据权利要求4所述的基于车联网的数据分析平台，其特征在于，

所述数据计算分析层中的YARN模块，具体用于当所述HDFS模块获取到需存储的数据之后，根据各任务所需处理的数据量，调度各任务所占用的分析资源。

6.根据权利要求5所述的基于车联网的数据分析平台，其特征在于，

所述数据计算分析层中的YARN模块，还具体用于将各任务所需处理的数据提供至所述HBase模块进行存储。

7.根据权利要求1所述的基于车联网的数据分析平台，其特征在于，所述数据来源层，包括：DataX组件；

所述DataX组件，用于通过所述车联网数据池的通信接口抽取数据。

8.根据权利要求1所述的基于车联网的数据分析平台，其特征在于，所述数据来源层，包括：Sqoop组件；

所述Sqoop组件，用于通过所述存储车辆相关信息的关系型数据库的通信接口抽取数据。

9.根据权利要求1-6任一项所述的基于车联网的数据分析平台，其特征在于，所述交互界面，还用于获取用户以拖拽方式，设定的执行逻辑，根据所述执行逻辑生成所述任务；

所述数据来源层，具体用于根据所述任务，通过所述通信接口抽取所需数据。

10.根据权利要求9所述的基于车联网的数据分析平台，其特征在于，所述交互界面为Web界面。

11.一种基于车联网的数据分析方法，其特征在于，包括以下步骤：

数据来源层通过车联网数据池的通信接口和/或存储车辆相关信息的关系型数据库的通信接口抽取所需数据；

数据存储层对抽取到的数据进行存储；

数据计算分析层根据任务，调度分布式架构中所需分析资源读取并处理所述数据存储层中存储的数据，得到分析结果；

数据存储层存储所述分析结果，并由交互界面展示所述分析结果。

12.根据权利要求11所述的基于车联网的数据分析方法，其特征在于，所述数据计算分析层基于Spark云计算架构和/或基于MapReduce计算架构；所述数据计算分析层根据任务，调度分布式架构中所需分析资源读取并处理所述数据存储层中存储的数据，包括：

所述数据计算分析层的YARN模块度各任务所占用的分析资源；

和/或，所述数据计算分析层的Azkaban模块调度各任务的执行顺序。