[发明专利]基于Flink架构的多数据源实时交通事件处理方法

说明书

本发明公开了一种基于Apache Flink架构，实时交通事件的处理方式。通过将不同数据源（拥堵数据，交通意外，恶劣天气等）的数据统一到Flink平台，进行数据预处理，过滤已过时的数据，将不用的数据源的数据转换成统一的格式，然后根据事件发生所在的位置区域，进行分组，然后进行统一处理，包括但不限于去重，融合，处理过期数据等，最终将该区域所有发生的交通事件发送到下游消息队列Kafka。

技术领域

本发明涉及一种基于Flink架构的多数据源实时交通事件处理方法。

背景技术

近年来，随着车辆的大幅增加，城市道路上发生的事件也越来越多，交通事故，车辆故障，拥堵，大雾，交通管制等等，情况也越来越多。交通出行所需要考虑的也越来越多，但目前的交通事件信息广播依然有较大延迟。随着自动驾驶技术的发展，周围区域的实时交通路况信息，就显得极为重要。

发明内容

本发明旨在克服现有技术的缺陷，提供一种基于Flink架构的多数据源实时交通事件处理方法，Flink是一个分层架构的系统,每一层所包含的组件都提供了特定的抽象,用来服务于上层组件，本方法将不同Kafka队列中的数据源(拥堵数据，交通意外，恶劣天气等)的数据统一到Flink平台，Kafka是一个分布式的流处理平台，进行数据预处理，过滤已过时的数据，将不用的数据源的数据转换成统一的格式，然后根据事件发生所在的位置区域，进行分组，然后进行统一处理，包括但不限于去重，融合，处理过期数据等，将数据发送到Kafka消息队列以供下游消费。下游可以通过消费Kafka的消息，反馈给车载系统，车载系统根据车机自身的所在的区域，取出相邻区域的所有交通事件，报告给车机的自动驾驶系统，以供决策道路的复杂度是否能开启自动驾驶；同时将数据进行存储，以便读取历史数据以及可视化某个区域中正发生的所有事件。

为了解决上述技术问题，本发明是这样实现的：

一种基于Flink架构的多数据源实时交通事件处理方法，包括如下步骤：

步骤一、消费消息队列Kafka中的数据源，将不同的数据源的交通事件数据使用不同的转换器统一格式：包含事件ID,事件状态(new(新事件)、changed(更新事件)、expired(过期事件))，事件类型(天气，意外事件，拥堵，施工等等),创建时间，有效期，道路(linkId(道路Id),可多条),道路区间(事件的起点和终点在对应所在道路上的的偏移量)，区域(长度为7的geoHash(一种地址编码，它能把二维的经纬度编码成一维的字符串)值，可多个区域)，使用Flink平台的“Union”算子将多个数据流合并到一个流中；

步骤二、将统一的数据进行预处理：

步骤2.1使用Flink平台的“filter”算子过滤掉非指定区域的事件，比如去掉非上海区域内的事件；

步骤2.2、根据事件所在的道路等级，使用Flink平台的“filter”算子，过滤掉道路等级低于某个阈值的事件，比如去掉非高速路的事件；

步骤2.3、使用Flink平台的“keyBy”算子，将这些事件Id进行分区，将事件分发到事件所在每一个区域；

步骤2.4、使用Flink平台的“process”算子，对不同分区的数据进行分发；

步骤三、使用Flink平台的“keyBy”算子，将事件按照geoHash(一种地址编码，它能把二维的经纬度编码成一维的字符串)进行分区，使用Flink平台的”map”算子，将新事件和区域内已经存在的事件进行聚合处理，包括新增事件，更新事件(同一个事件的更新，比如拥堵变长)，过滤过期事件等操作；

步骤四、使用Flink平台的“addSink”算子，将数据下发到下游消息队列Kafka以供消费。