[发明专利]一种基于Flink框架的数据去重方法及装置

说明书

本申请提供一种基于Flink框架的数据去重方法及装置，该基于Flink框架的数据去重方法在获取携带数据执行标识的数据执行请求后，根据数据执行标识，获取Flink框架中与数据执行标识对应的数据处理模型；然后根据数据处理模型，判断数据执行请求携带的各视频数据中是否存在相同的车辆视频片段，并在各视频数据中存在相同的车辆视频片段时，对视频数据进行去重，得到去重视频数据；本申请在各视频数据中存在相同的车辆视频片段时，去除相同的车辆视频片段，得到去重视频数据，从而使得在对前端设备采集到的视频数据进行处理时，可以先去除视频数据中的重复数据，从而降低待处理数据量，提高了数据处理的效率。

技术领域

本申请智慧交通技术领域，尤其是涉及一种基于Flink框架的数据去重方法及装置。

背景技术

随着技术的进步和发展，为了防止违法的事件发生，会在各个区域设置抓拍设备，包括在各个道路、各个小区、各个路口等位置设置前端摄像头，以使得抓拍设备能够采集各个区域的信息，从而根据各个抓拍设备采集到的信息得到违法的数据，但由于抓拍设备的数量较多，导致得到的数据量数以亿计，而在对抓拍设备采集到的信息进行处理得到违法数据时，需要对每个数据进行处理，但在采集到的信息中会存在相同或者相似的数据，导致对数据的处理过程耗时较长，导致对数据的处理效率较低。

所以，现有的数据处理过程中，存在由于数据中存在重复数据导致数据处理效率较低的技术问题。

发明内容

本申请实施例提供一种基于Flink框架的数据去重方法，用以解决现有的数据处理过程中，存在由于数据中存在重复数据导致数据处理效率较低的技术问题。

本申请实施例提供一种基于Flink框架的数据去重方法，该基于Flink框架的数据去重方法包括：

获取携带数据执行标识的数据执行请求；

根据所述数据执行标识，获取所述Flink框架中与所述数据执行标识对应的数据处理模型；

根据所述数据处理模型，判断所述数据执行请求携带的各视频数据中是否存在相同的车辆视频片段，并在各视频数据中存在相同的车辆视频片段时，对所述视频数据进行去重，得到所述去重视频数据。

同时，本申请实施例提供一种基于Flink框架的数据去重装置，该基于Flink框架的数据去重装置包括：

第一获取模块，用于获取携带数据执行标识的数据执行请求；

第二获取模块，用于根据所述数据执行标识，获取所述Flink框架中与所述数据执行标识对应的数据处理模型；

去重模块，用于根据所述数据处理模型，判断所述数据执行请求携带的各视频数据中是否存在相同的车辆视频片段，并在各视频数据中存在相同的车辆视频片段时，对所述视频数据进行去重，得到所述去重视频数据。

同时，本申请实施例提供一种服务器，所述服务器包括存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行程序时实现上述基于Flink框架的数据去重方法中的步骤。

同时，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有多条指令，指令适于处理器进行加载，以执行上述基于Flink框架的数据去重方法中的步骤。