[发明专利]基于车联网的数据分析平台和方法

说明书

技术领域

本发明涉及大数据一体化平台处理技术领域，尤其涉及一种基于车联网的数据分析平台和方法。

背景技术

数据分析平台，用于针对多个数据源采集数据，进而基于采集的数据进行大数据分析，从而根据分析结果优化车辆的性能。现有技术中，车辆网的数据分析平台多为单线程架构，从而导致数据分析平台的分析效率较低。

随着汽车行业的不断发展，这种单线程的架构已无法满足数据分析的需求。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于车联网的数据分析平台，以提高数据分析平台的分析效率。

为达上述目的，本发明一方面实施例提出了一种基于车联网的数据分析平台，包括：

依次连接的数据来源层、数据存储层、数据计算分析层和交互界面；

其中，所述数据来源层，包括车联网数据池的通信接口和/或存储车辆相关信息的关系型数据库的通信接口，用于通过所述通信接口抽取所需数据；

所述数据存储层，用于对抽取到的数据进行存储；

所述数据计算分析层，基于分布式架构，用于根据任务，调度所需分析资源读取所述数据存储层中存储的数据，得到分析结果；

所述数据存储层，还用于存储所述分析结果；

所述交互界面，用于展示所述分析结果。

在本发明实施例的一种可能的实现方式中，所述数据计算分析层基于Spark云计算架构和/或基于MapReduce计算架构；所述数据计算分析层，包括：

YARN模块，用于调度各任务所占用的分析资源；

Azkaban模块，用于调度各任务的执行顺序。

在本发明实施例的一种可能的实现方式中，所述数据存储层，包括：HIVE数据仓库和HBase分布式存储架构；

所述HBase分布式存储架构，用于以列存储格式存储数据，以及用于将列存储格式转化为表格式存储格式；

所述HIVE数据仓库，用于存储转化后的表格式存储格式的数据，以用于存储所述分析结果。

在本发明实施例的一种可能的实现方式中，所述HBase分布式存储架构包括用于存储的HBase模块，以及用于对需存储的数据进行管理的HDFS模块。

在本发明实施例的一种可能的实现方式中，所述数据计算分析层中的YARN模块，具体用于当所述HDFS模块获取到需存储的数据之后，根据各任务所需处理的数据量，调度各任务所占用的分析资源。

在本发明实施例的一种可能的实现方式中，所述数据计算分析层中的YARN模块，还具体用于将各任务所需处理的数据提供至所述HBase模块进行存储。

在本发明实施例的一种可能的实现方式中，所述数据来源层，包括：DataX组件；

所述DataX组件，用于通过所述车联网数据池的通信接口抽取数据。

在本发明实施例的一种可能的实现方式中，所述数据来源层，包括：Sqoop组件；

所述Sqoop组件，用于通过所述存储车辆相关信息的关系型数据库的通信接口抽取数据。

在本发明实施例的一种可能的实现方式中，所述交互界面，还用于获取用户以拖拽方式，设定的执行逻辑，根据所述执行逻辑生成所述任务。

在本发明实施例的一种可能的实现方式中，所述交互界面为万维网(Web)界面。

本发明实施例的基于车联网的数据分析平台，包括依次连接的数据来源层、数据存储层、数据计算分析层和交互界面。其中，数据来源层通过通信接口抽取所需数据，数据存储层对抽取到的数据进行存储，进而基于分布式架构的数据计算分析层根据任务调度所需分析资源读取并处理所述数据存储层中存储的数据，得到分析结果，并由数据存储层存储该分析结果，最后交互界面对分析结果进行展示。该数据分析平台中，数据计算分析层基于分布式架构，从而避免了现有技术中单线程方式分析效率较低的技术问题。

本发明另一方面实施例提出了一种基于车联网的数据分析方法，包括以下步骤：

数据来源层通过车联网数据池的通信接口和/或存储车辆相关信息的关系型数据库的通信接口抽取所需数据；

数据存储层对抽取到的数据进行存储；

数据计算分析层根据任务，调度分布式架构中所需分析资源读取并处理所述数据存储层中存储的数据，得到分析结果；

数据存储层存储所述分析结果，并由交互界面展示所述分析结果。