[发明专利]一种索引校对方法和装置有效
| 申请号: | 201810023077.9 | 申请日: | 2018-01-10 |
| 公开(公告)号: | CN110209884B | 公开(公告)日: | 2022-08-05 |
| 发明(设计)人: | 陈哲嘉;程求江 | 申请(专利权)人: | 杭州海康威视数字技术股份有限公司 |
| 主分类号: | G06F16/901 | 分类号: | G06F16/901 |
| 代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 江崇玉 |
| 地址: | 310051 浙*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 索引 校对 方法 装置 | ||
1.一种索引校对方法,其特征在于,所述方法包括:
当检测到校对触发事件时,获取所述校对触发事件对应的预设时间范围,其中,当所述校对触发事件是接收到校对指令时,获取技术人员手动输入的预设时间范围;获取原始表中对应的时间戳在所述预设时间范围内的多条记录的数据量;根据多个校对节点中的每个校对节点对应的数据量阈值和获取到的数据量,将预设时间范围划分为至少一个目标子时间范围;
将所述至少一个目标子时间范围发送至不同的校对节点,以便每个校对节点在原始表中和索引表中,获取对应的时间戳在对应的目标子时间范围内的多条记录和多个索引表项,其中,所述原始表包含每条记录对应的时间戳,所述索引表包含每个索引表项对应的时间戳;对获取到的多条记录和多个索引表项进行索引校对,确定待执行校正处理的目标索引表项;
如果所述目标索引表项对应的校正处理为增添处理,则将所述目标索引表项增添到所述索引表中,如果所述目标索引表项对应的校正处理为删除处理,则将所述目标索引表项从所述索引表中删除,如果所述目标索引表项对应的校正处理为修改处理,则将所述目标索引表项中的唯一键值在索引表中对应的索引表项修改为目标索引表项;
所述根据多个校对节点中的每个校对节点对应的数据量阈值和获取到的数据量,将预设时间范围划分为至少一个目标子时间范围,包括:
确定获取到的数据量除以每个校对节点对应的数据量阈值的商n;如果n大于1,将所述预设时间范围划分为N+1个子时间范围,其中,N为n的整数部分;对于所述N+1个子时间范围中的每个子时间范围,获取所述原始表中对应的时间戳在所述子时间范围内的多条记录的数据量;如果所述子时间范围内的数据量除以所述数据量阈值的商m大于1,则将所述子时间范围划分为M+1个子时间范围,其中,M为m的整数部分,直到划分到的子时间范围对应的数据量均小于所述数据量阈值;将对应的数据量之和小于所述数据量阈值的相邻的子时间范围合并,得到多个目标子时间范围;
所述索引表为所述原始表中的第一字段对应的索引表,所述索引表中的每个索引表项包含对应记录的唯一键值;所述对获取到的多条记录和多个索引表项进行索引校对,确定待执行校正处理的目标索引表项,包括:
对于每个唯一键值,如果所述多条记录中存在所述唯一键值对应的第一字段值,且多个索引表项中不存在所述唯一键值对应的第一字段值,则将所述唯一键值和所述多条记录中所述唯一键值对应的第一字段值确定为待执行增添处理的目标索引表项;
如果所述多条记录中不存在所述唯一键值对应的第一字段值,且所述多个索引表项中存在所述唯一键值对应的第一字段值,则将所述多个索引表项中所述唯一键值对应的索引表项,确定为待执行删除处理的目标索引表项;
如果所述多条记录中存在的所述唯一键值对应的第一字段值,与所述多个索引表项中存在的所述唯一键值对应的第一字段值不一致,则将所述唯一键值和所述多条记录中所述唯一键值对应的第一字段值,确定为待执行修改处理的目标索引表项。
2.根据权利要求1所述的方法,其特征在于,所述校正处理包括以下处理中的一种或多种:
增添处理、删除处理、修改处理。
3.根据权利要求1所述的方法,其特征在于,所述对获取到的多条记录和多个索引表项进行索引校对,确定待执行校正处理的目标索引表项,包括:
通过每个校对节点对所述校对节点获取到的对应的时间戳在对应的目标子时间范围内的多条记录和多个索引表项进行索引校对,确定待执行校正处理的目标索引表项。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州海康威视数字技术股份有限公司,未经杭州海康威视数字技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810023077.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种用户历史数据有效性判断的方法及装置
- 下一篇:一种图查询方法及系统





