[发明专利]基于二维散列的海量数据的快速操作方法

说明书

一、技术领域

本发明涉及一种电信运营支撑系统的方法，尤其是海量数据的快速操作方法。

二、背景技术

随着电信行业用户和业务量的巨增，对千万级话单数据的快速处理成为电信运营系统的难点和重点。目前的系统应用需要对存在于计算机系统物理内存中的海量数据频繁进行查询、更新、删除操作，这些数据上的索引算法的效率，显然已经成为影响系统运行速度的关键。

而现有的单向散列函数指的是根据输入消息(任何字节串，如文本字符串、Word文档、JPG文件等)输出固定长度数值的算法，输出数值也称为“散列值”或“消息摘要”，其长度取决于所采用的算法，通常在128～256位之间。单向散列函数旨在创建用于验证消息完整性的简短摘要。在诸如TPC/IP等通信协议中，常采用检验和或CRC(循环冗余校验)来验证消息的完整性。

三、发明内容

本发明目的是，针对电信运营系统有数据量大，要求系统响应快速、稳定并具有自维护性等特点，提出一种面向电信运营系统的方法，即基于二维散列的海量数据的快速操作方法；本发明目的还在于解决下列问题：

●极高效的数据查找——当其管理的数据按照查找关键字得到足够的均匀散列时，甚至可以直接定址，返回查找关键字所对应的记录集；数据记录变更无须重构索引；可无限制动态扩充所管理的数据记录量。采用此发明算法组织的数据索引结构，可以使得对百万数据记录集合的内存数据表的查找效率达到微秒级别，在技术上极大的满足了电信运营系统的要求。

本发明的技术方案是，基于二维散列的海量数据的快速操作方法，首先是利用散列算法，将具体的数据记录集序列，在索引关键字和索引序列地址之间形成特定的映射关系，构造一维散列队列存储数据；当索引关键字和索引序列地址之间形成特定的映射关系不能唯一定位一条数据记录时，则根据索引关键字是否相同构造一个二维的散列链表，挂在第一层散列队列的各个节点下，作为之前构造的一维散列队列各节点的扩充，区分索引字段值相同与不同；

当需要按照索引关键字对数据集进行操作时，通过相同的散列算法，从一维散列队列，反向映射获取数据集中索引关键字所对应的数据记录地址，实现快速定位的目的；如果发现一维散列队列节点下还有二维散列链表，则根据查询关键字的取值纵向遍历此二维散列链表，查找符合条件的数据记录地址；

创建索引接口：根据索引关键字计算出散列队列下标值，实现索引关键字和索引序列地址之间形成特定的映射关系转换；当不能够保证每条数据记录的索引关键字与通过散列算法后得到的散列队列下标值是一一对应时，延伸出一个二维的散列链表，挂在第一层散列队列的各个节点下，区分索引字段值相同与不同，而横向、纵向扩展，来解决冲突；通过上述映射关系，既能得到数据集上的一个快速索引结构；

查询接口：当需要按照索引关键字对数据集进行操作时，系统首先找到已经创建好的数据集索引入口，通过相同的散列算法，计算出下标值，从一维散列队列，反向映射获取数据集中索引关键字所对应的数据记录地址，实现快速定位的目的；如果发现一维散列队列节点下还有二维散列链表，则根据查询关键字的取值纵向遍历此二维散列链表，查找符合条件的数据记录地址；最后，将符合条件的结果集返回。

此发明主要分成散列算法、二维散列算法两个部分：

●散列算法

根据索引关键字计算出散列队列下标值，实现索引关键字和索引序列地址之间形成特定的映射关系转换。

●二维散列算法

不能够保证每条数据记录的索引关键字与通过散列算法后得到的散列队列下标值是一一对应的，因此极有可能出现对于不同的元素，通过散列算法后得到却计算出了相同的散列队列下标值即索引字段值；又或者有非唯一索引存在，这样就产生了“冲突”。因而设计出一个二维的散列链表，挂在第一层散列队列的各个节点下，区分索引字段值相同与不同，而横向、纵向扩展，来解决冲突。即具有两个索引散列链表的计算；

本发明的有益效果：该发明已经在内存数据管理产品中得到成功应用，并作为我国核心电信运营系统产品关键业务数据管理中心的主要构成技术方案，部署在计费账务后台业务处理系统中，综合处理速度得到了50％~80％的提升。

四、附图说明

图1.二维散列索引逻辑结构图

五、具体实施方式

本发明目前内嵌于内存数据管理的索引管理模块中，也可独立封装，做为第三方插件提供于其他模块适配。其在索引管理模块中应用的标准的软件模型如图1所示。

●创建索引接口