[发明专利]数据处理方法、装置、电子设备及存储介质

说明书

本发明实施例提供一种数据处理方法，包括将待处理视频流输入到预先训练好的目标检测网络中，得到待处理视频流所包含的待处理对象对应的结构化特征数据序列；基于预设的时间分片策略对待处理对象的结构化特征数据序列进行分片，并对分片后的结构化特征数据序列进行第一去重处理，得到分片数据；对分片数据进行哈希处理，得到待处理对象的分片哈希数据；基于分片哈希数据，对待处理对象进行第二去重处理，得到待处理视频流所包含的待处理对象的数量结果。通过从视频流中获取人车的结构化特征数据序列，可以避免人车数据的重复统计，提高了人车数量统计结果的准确率。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

随着数字化进程的发展，需要数据挖掘和分析越来越重视，然而，随着海量数据被采集和存储，使得重复的数据较多，不利于数据的统计，在数据看板中，对于数据挖掘的结果往往只看的是统计后的数据，比如某时间段的数量。进一步的，在视频流中的人车数据统计中，由于视频流中行人与车辆都是持续出现在视频中某一段时间内的，对于连续多段时间的人车数据统计来说，会存在重复统计的情况，比如，A车在时间段a出现，同时在时间段a－1和时间段a+1都出现，则会在按时段统计时，也将A车统计到时间段a－1和时间段a+1中，造成数据层面的误差，导致统计结果的准确率低，从而降低了数据挖掘的可靠性。

发明内容

本发明实施例提供一种数据处理方法，通过从视频流中获取人车的结构化特征数据序列，将人车的结构化特征数据序列进行分片，对分片的结构化特征数据序列进行第一去重，去掉各分片数据之间重复的结构化数据，对经过哈希处理后得到的分片哈希数据再进行第二去重处理，可以去掉分片数据内重复的结构化数据，从而避免了人车数据的重复统计，提高了人车数量统计结果的准确率；同时，基于哈希处理后得到的分片哈希数据再进行第二去重处理，可以提高第二去重的速度。

第一方面，本发明实施例提供一种数据处理方法，所述方法包括：

将待处理视频流输入到预先训练好的目标检测网络中，得到所述待处理视频流所包含的待处理对象对应的结构化特征数据序列，其中，所述待处理对象的对象类型包括机动车类型、非机动车类型以及行人类型中的至少一项；

基于预设的时间分片策略对所述待处理对象的结构化特征数据序列进行分片，并对分片后的结构化特征数据序列进行第一去重处理，得到分片数据；

对所述分片数据进行哈希处理，得到所述待处理对象的分片哈希数据；

基于所述分片哈希数据，对所述待处理对象进行第二去重处理，得到所述待处理视频流所包含的待处理对象的数量结果。

可选的，所述时间分片策略包括分片时长，在所述基于预设的时间分片策略对所述待处理对象的结构化特征数据序列进行分片之前，所述方法还包括：

按照所述待处理对象的对象类型所对应的速度来确定不同待处理对象的对象类型所对应的分片时长。

可选的，所述基于预设的时间分片策略对所述待处理对象的结构化特征数据序列进行分片，包括：

根据所述待处理对象的对象类型所对应的分片时长，对所述结构化特征数据序列进行分片。

可选的，在所述基于预设的时间分片策略对所述待处理对象的结构化特征数据序列进行分片之前，所述方法还包括：

对于同一类型的待处理对象，在所述同一类型的待处理对象对应的结构化特征数据序列提取第一目标的第一出现时长，所述第一目标为所述同一类型的待处理对象对应的结构化特征数据序列最先出现的单个目标；

在所述同一类型的待处理对象对应的结构化特征数据序列提取第二目标的第二出现时长，所述第二目标的出现时间在第一目标的出现时间内；