[发明专利]基于微服务的车辆网车辆数据采集方法

说明书

基于微服务的车辆网车辆数据采集方法，包括网关层的部署、服务解耦的选择、车辆采集任务下发和中止管理、车辆数据的存储和基于Spring Cloud Sleuth的服务监控；网关层采用Nginx和Zuul方式进行部署；服务解耦采用基于kafka的服务解耦；车辆数据的存储为时序存储方式。本发明的基于微服务的车辆网车辆数据采集方法，采集方式按需汇聚，采集数据逐层传递，采集数据标准统一，采集安全覆盖全流程；采用kafka方式加速数据传输效率；全程链路跟踪和监控，实施把控采集过程的各个环节；开源组件适配性强，移植性高，耦合度低；微服务方式开发，集成度高，移植性强；采用实时计算解析车况数据，保障数据实效性，一致性。

背景技术

本发明涉及车辆网数据采集技术领域，具体是基于微服务的车辆网车辆数据采集方法。

背景技术

车联网业务除传统的车载信息服务,比如安全保障、远程控制和语音导航等功能,还包括不断创新的服务,比如车队管理、驾驶行为分析、车辆鉴定评估等基于大数据分析的业务。由于上述业务对车载实时情况要求较高，因此如何更快的将车载设备的终端数据采集至关重要；随着车辆规模日益增大，如何采集高并发数据，如何处理高并发数据，如何清洗高并发数据也尤为重要。上述为车联网业务在采集端的问题和急需解决的困难。

同时，如何真正实现业务上水平切割，如何真正实现技术栈的解耦，也是待解决问题。由于当前车辆终端协议不一致导致数据采集难度增大，如何制定标准统一的数据格式也至关重要。最后，数据在采集过程中的通讯安全如何保障，车辆在无信号或终端被微迫害的情况下如何保障基础数据不丢失。

由于车辆网的感知数据采集需要支持多种不同数据源例如车速，转速，位置，状态，油耗等数据类型，通信协议从传统的TCP/IP延伸到微服务使用得通信协议：SOAP，RPC，REST，RMI等，本申请提出一种基于SpringCloud和kafka实现车辆数据采集方案，主要应用于车辆网中，例如车辆历史轨迹查询，车辆实时定位和追踪，车辆故障预测，车辆工作评估等场景。

kafka：开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。

Hbase：分布式的、面向列的开源数据库。

SpringCloud：开源微服务框架。

Zipkin：链路监控组件。

网关：负责终端和大数据之间通讯链接。

MQ：消息中间件，主要采用队列方式进行存储。

Nginx：高性能的HTTP和反向代理web服务器。

Zuul：Netflix开源的微服务网关，可以和微服务组件配合使用。

JOB：分类采集任务，主要根据业务系统划分生成不同的采集任务。

Flink：开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。

Sleuth：链路追踪，主要功能就是在分布式系统中提供追踪解决方案。

Stream：消息驱动，主要配合链路追踪使用。

发明内容

本发明所要解决的技术问题在于克服上述现有技术之不足，提供一种高可用和高稳定的基于微服务的车辆网车辆数据采集方法。

本发明是以如下技术方案实现的：基于微服务的车辆网车辆数据采集方法，包括网关层的部署、服务解耦的选择、车辆采集任务下发和中止管理、车辆数据的存储和服务监控方法；

所述网关层采用Nginx和Zuul方式进行部署；

所述服务解耦采用基于kafka的服务解耦，根据业务系统的业务类型，将工业大数据系统拆解为多组JOB，然后将采集消息发送给kafka；