[发明专利]数据处理方法、装置及电子设备

说明书

本发明涉及视频监控技术领域，具体涉及数据处理方法、装置及电子设备，所述方法包括获取实时待存储数据；对所述实时待存储数据进行聚合处理，以得到实时存储数据；基于历史存储数据的时间戳信息，提取满足预设时间条件的历史存储数据；对所述历史存储数据进行二次聚合处理，以得到目标历史存储数据，所述实时存储数据与所述历史存储数据用于数据查询。在数据存储之前先对其进行聚合处理可以大大减少数据存储量，且所得到的实时存储数据以及目标历史存储数据均可以用于数据查询，可以保证在减少数据存储量的同时又不影响数据的查询；即总数据量的减少也加速了数据的处理。

技术领域

本发明涉及视频监控技术领域，具体涉及数据处理方法、装置及电子设备。

背景技术

随着人工智能分析的普遍应用，在视频监控系统中，车辆分析和人物特征分析等技术的日益成熟，在城市视频监控系统中得到了大量的应用。城市监控系统中的每天万级摄像头产生出海量的分析数据，对数据的亚秒级快速统计和分析带来了巨大的挑战。

在人工智能车辆分析、人物分析的技术日益成熟之下，其在城市视频监控系统中得到了大量的应用。每个城市道路摄像头每天会对经过的车辆，人物进行分析，然后汇总到Kafka大数据中心，每天的数据总量会达到亿级的数据量。

海量的大数据一般会在Kafka数据中心进行缓存，然后在写入到列式存储进行统计和分析。但是在每天的数据量达到亿级的情况下，即使是分布式大数据系统也无法在亚秒级内对各种统计维度按照指定的时间段给出统计结果，固有的数据量导致了统计和查询需要消耗的基本时间量，从而导致查询速度异常缓慢。

发明内容

有鉴于此，本发明实施例提供了一种数据处理方法、装置及电子设备，以解决由于数据存储所导致的查询速度缓慢的问题。

根据第一方面，本发明实施例提供了一种数据处理方法，所述方法包括：

获取实时待存储数据；

对所述实时待存储数据进行聚合处理，以得到实时存储数据；

基于历史存储数据的时间戳信息，提取满足预设时间条件的历史存储数据；

对提取出的所述历史存储数据进行二次聚合处理，以得到目标历史存储数据，所述实时存储数据与所述历史存储数据用于数据查询。

本发明实施例提供的数据处理方法，在获取到实时待存储数据之后，先对其进行一次聚合处理，以得到实时存储数据；后续再对满足条件的历史存储数据进行二次聚合处理，以得到目标历史存储数据。在数据存储之前先对其进行聚合处理可以大大减少数据存储量，且所得到的实时存储数据以及目标历史存储数据均可以用于数据查询，可以保证在减少数据存储量的同时又不影响数据的查询；即总数据量的减少也加速了数据的处理。

结合第一方面，在第一方面第一实施方式中，所述对所述实时待存储数据进行聚合处理，得到实时存储数据，包括：

获取第一查询颗粒度；

基于所述第一查询颗粒度，对所述实时待存储数据进行聚合处理，以得到所述实时存储数据。

本发明实施例提供的数据处理方法，在实时待存储数据的存储之前，基于第一查询颗粒度对实时待存储数据进行聚合处理，大大减少了需要存储的数据量。

结合第一方面第一实施方式，在第一方面第二实施方式中，所述基于所述第一查询颗粒度，对所述实时待存储数据进行聚合处理，得到所述实时存储数据，包括：

从缓存空间内提取所述第一查询颗粒度间隔内的所有所述实时待存储数据；

基于所述第一查询颗粒度对应的时间戳，利用所有所述实时待存储数据的维度进行聚合处理，以得到所述实时存储数据。