[发明专利]交委数据去重方法、装置及服务器

权利要求书

1.一种交委数据去重方法，其特征在于，包括：

展示目标数据的选择界面，通过所述选择界面接收数据类型选择操作；

根据所述数据类型选择操作确定所述目标数据，并获取所述目标数据对应的元数据；

根据所述元数据更新所述选择界面，生成并显示配置界面；

通过所述配置界面接收去重参数配置操作，并根据所述去重参数配置操作依所述元数据确定去重索引字段和去重时间字段，以及设置所述去重时间字段对应的过滤时长；

接收交委数据，所述交委数据包括所述去重索引字段的索引数据段、以及所述去重时间字段的时间数据段；

基于redis数据库内缓存的数据，根据所述索引数据段、所述时间数据段以及所述过滤时长，对所述交委数据进行去重处理后缓存至所述redis数据库。

2.如权利要求1所述的交委数据去重方法，其特征在于，根据所述数据类型选择操作确定所述目标数据，并获取所述目标数据对应的元数据，具体包括：

根据所述数据类型选择操作选择所述数据类型，并确定所述数据类型对应的目标数据；

根据所述数据类型，获取所述目标数据对应的所述元数据。

3.如权利要求1所述的交委数据去重方法，其特征在于，根据所述元数据更新所述选择界面，生成并显示配置界面，具体包括：

展示所述元数据，并设置所述元数据对应的字段索引框，每个所述元数据对应的字段选择框，以及字段确认框；

更新所述选择界面，生成并显示所述配置界面。

4.如权利要求3所述的交委数据去重方法，其特征在于，所述依所述元数据确定所述去重索引字段和所述去重时间字段，以及设置所述去重时间字段对应的过滤时长，具体包括：

通过所述字段索引框搜索所述去重索引字段和所述去重时间字段；

通过所述字段选择框选择所述去重索引字段和所述去重时间字段；

通过所述字段确认框确认所述去重索引字段和所述去重时间字段；

展示所述去重索引字段和所述去重时间字段，并设置所述去重时间字段对应的过滤时长。

5.如权利要求4所述的交委数据去重方法，其特征在于，所述去重索引字段包括至少一个所述元数据的字段，所述去重时间字段仅包括其中一个所述元数据的字段。

6.如权利要求4所述的交委数据去重方法，其特征在于，基于redis数据库内缓存的数据，根据所述索引数据段、所述时间数据段以及所述过滤时长，对所述交委数据进行去重处理后缓存至所述redis数据库，具体包括：

判断所述redis数据库内缓存的数据是否包括所述索引数据段，若所述redis数据库不包括所述索引数据段，则确定所述交委数据不为重复数据并将所述交委数据写入所述redis数据库；

若所述redis数据库内缓存的数据包括所述索引数据段，则判断所述时间数据段与所述redis数据库内缓存的最后一条交委数据的时间数据段之间的差值是否在所述过滤时长内，若不在所述过滤时长内，则确定所述交委数据不为重复数据，并将所述交委数据写入所述redis数据库；若在所述过滤时间内，则确定所述交委数据为重复数据而丢弃，并将所述redis数据库内缓存的最后一条交委数据的时间数据段更新为所述时间数据段。

7.如权利要求6所述的交委数据去重方法，其特征在于，所述判断所述redis数据库内缓存的数据是否包括所述索引数据段，若所述redis数据库不包括所述索引数据段，则确定所述交委数据不为重复数据并将所述交委数据写入所述redis数据库，具体包括：

将所述去重索引字段和所述索引数据段，生成所述交委数据对应的redis键名称；

将所述时间数据段生成所述交委数据对应的redis键值；

将所述redis键名称和所述redis键值组成所述交委数据对应的判重redis键值；

将所述判重redis键值对插入所述redis数据库，并判断所述redis数据库内缓存的数据是否包括所述redis键名称；

若不包括所述redis键名称，则确定所述交委数据不为重复数据，并将所述redis键值对写入所述redis数据库。