[发明专利]一种数据处理方法、装置和系统

说明书

本发明提供一种数据处理方法、装置和系统，该方法包括：通过批处理，获取目标区域的历史交通场景的第一要素数据；通过流处理，获取目标区域的实时交通场景的第二要素数据；对第一要素数据和第二要素数据进行聚合处理，并将聚合后的要素数据存储在目标区域对应的缓存区中。本发明对于数据量庞大的历史交通场景的第一要素数据采用批处理的方式导入，对于数据量较小的实时交通场景的第二要素数据采用流处理的方式导入，提高了数据的导入速率，可提供后续数据的检索分析效率，另外，将导入的第一要素数据和第二要素数据放在缓存区中，无需每次重新获取上述要素数据，能够进一步提高数据的检索分析效率，进而能够快速地检索出交通场景下的业务数据。

技术领域

本发明涉及数据库技术领域，特别是指一种数据处理方法、装置和系统。

背景技术

现有数据湖存储方法，大多泛指异构数据或全数据形态的数据的存储，描述范围比较大，涵盖数据形式也比较宽泛，没有具体针对某一行业某种场景的具体业务数据，检索结果比较散杂，数据分析效率较低，难以快速地检索出某种具体应用场景下的业务数据，进而导致数据湖不具备专业应用能力。

发明内容

本发明的目的是提供一种数据处理方法、装置和系统，以解决基于现有数据湖难以快速地检索出某种具体应用场景下的业务数据的问题。

为达到上述目的，本发明的实施例提供一种数据处理方法，包括：

通过批处理，获取目标区域的历史交通场景的第一要素数据；

通过流处理，获取所述目标区域的实时交通场景的第二要素数据；

对所述第一要素数据和第二要素数据进行聚合处理，并将聚合后的要素数据存储在所述目标区域对应的缓存区中。

可选地，所述将聚合后的要素数据存储在所述目标区域对应的缓存区中，包括：

将聚合后的要素数据以键值对K-V的形式存储在所述目标区域对应的缓存区中。

可选地，本发明实施例的方法，还包括：

根据所述第一要素数据和所述第二要素数据，确定目标交通场景中目标交通事件的发生次数；

在所述目标交通事件的发生次数大于预设阈值的情况下，发送警示信息。

可选地，根据所述第一要素数据和所述第二要素数据，确定目标交通场景中目标交通事件的发生次数，包括：

在所述第一要素数据和第二要素数据中，按照预设筛选规则，筛选出目标交通场景对应的数据；

根据所述目标交通场景对应的数据，确定目标交通事件的发生次数。

可选地，所述第一要素数据或所述第二要素数据包括以下至少一项：

交通参与者；

道路场景；

交通参与者的行为特征；

道路交通标志或属性；

路面标志；

天气因素。

可选地，本发明实施例的方法，还包括：

获取检索关键词；

在所述缓存区中，基于预设交通场景要素关系图谱，查找与所述检索关键词有关联关系的交通场景目标要素数据；

根据所述交通场景目标要素数据，获取查询结果；

其中，所述预设交通场景要素关系图谱中保存有交通场景的要素数据之间的关联关系。

为了实现上述目的，本发明实施例还提供了一种数据处理装置，包括：