[发明专利]交委数据去重方法、装置及服务器

说明书

本申请提供一种交委数据去重方法、装置及服务器，该方法通过选择界面确定某一数据类型的目标数据以及该类目标数据的元数据，然后更新选择界面生成配置界面，再由配置界面从元数据中选择去重索引字段和去重时间字段，并设置去重时间字段对应的过滤时长，最后基于redis数据库中缓存的数据，根据接收的交委数据的去重索引字段的索引时间段和去重时间字段的时间数据段以及过滤时长，对交委数据进行去重处理，这样能通过初始的选择界面动态生成用于去重的配置界面，并通过配置界面动态选择去重索引字段和去重时间字段，提高了去重处理的灵活性和准确性，同时采用redis数据库，提高了去重处理的速度，且具有较强的系统扩展性。通用性高。

技术领域

本申请涉及交通领域，尤其是涉及一种交委数据去重方法、装置及服务器。

背景技术

随着互联网的蓬勃发展，大数据技术在各个领域都得到了广泛应用，在很多大数据应用场景中都需要在短时间内连续从外部接入大量数据，这些数据中存在大量的重复数据，例如，在人员密集的商场和车站，一个人在某个wifi电子围栏附近停留一段时间，相似的数据会被采集多次，又比如在交通运行场景中，车辆在卡口处缓行或静止时，数据采集器会在短时间内重复上传该车辆的过车记录，造成大数据平台存储较多重复数据。如果不对这些重复数据加以处理就进行存储，一方面会浪费系统的吞吐量和存储能力，另一方面会对后续的数据使用和数据分析带来较大影响。

目前，针对这些数据一般是通过ETL(Extract-Transform-Load，抽取-转换-加载)工具在数据抽取时进行去重处理，或者通过SQL语句进行去重处理，但是，ETL工具需要数据完全一致才能判断为重复数据，并不能通过部分关键字一致或者在指定的时段内部分关键字一致就判定是否为重复数据；而SQL语句则仅限用于关系型数据库中，不具有通用性和扩展性，并且在去重过程中对数据库的性能影响较大。

因此，当前数据去重方法存在灵活性和准确性不够，且扩展性和通用性差的技术问题。

发明内容

本申请实施例提供一种交委数据去重方法和装置，用以解决当前数据去重方法存在灵活性和准确性不够，且扩展性和通用性差的技术问题。

第一方面，本申请实施例提供一种交委数据去重方法，该交委数据去重方法包括：

展示目标数据的选择界面，通过所述选择界面接收数据类型选择操作；

根据所述数据类型选择操作确定所述目标数据，并获取所述目标数据对应的元数据；

根据所述元数据更新所述选择界面，生成并显示配置界面；

通过所述配置界面接收去重参数配置操作，并根据所述去重参数配置操作依所述元数据确定去重索引字段和去重时间字段，以及设置所述去重时间字段对应的过滤时长；

接收交委数据，所述交委数据包括所述去重索引字段的索引数据段、以及所述去重时间字段的时间数据段；

基于redis数据库内缓存的数据，根据所述索引数据段、所述时间数据段以及所述过滤时长，对所述交委数据进行去重处理后缓存至所述redis数据库。

在一些实施例中，根据所述数据类型选择操作确定所述目标数据，并获取所述目标数据对应的元数据，具体包括：

根据所述数据类型选择操作选择所述数据类型，并确定所述数据类型对应的目标数据；

根据所述数据类型，获取所述目标数据对应的所述元数据。

在一些实施例中，根据所述元数据更新所述选择界面，生成并显示配置界面，具体包括：

展示所述元数据，并设置所述元数据对应的字段索引框，每个所述元数据对应的字段选择框，以及字段确认框；

更新所述选择界面，生成并显示所述配置界面。