[发明专利]一种基于redis集群的海量数据关联方法

说明书

本发明公开了一种基于redis集群的海量数据关联方法。本方法为：1)创建Redis内存数据库集群，采用内存数据库redis存储基础数据；其中，采用zset对关键字为IP地址、基础数据为IP地址段的数据进行存储，采用json格式以字符串形式对其他基础数据进行存储；2)在关联系统中配置一标准化关联策略文件；3)关联系统根据该标准化关联策略文件，从日志数据中挑选设定的关联字段形成关联key，然后根据该key值从内存数据库redis中关联出匹配的基础数据；4)关联系统根据该标准化关联策略文件中配置的回填字段信息，将关联出的基础数据填入该日志数据的对应字段。本发明方便数据的解析和关联、提升数据处理能力。

技术领域

本发明涉及计算机信息安全技术领域，是一种基于redis的，针对海量实时数据流的、高实时性、高可靠性、高稳定性的关联方法。

背景技术

随着信息技术的发展，尤其是大数据时代的到来,越来越多的行业需要对不同来源的数据进行关联融合，挖掘出数据的最大价值。比如WXXA行业需要用户无线上网日志数据关联，以日志数据中的隧道号为关键字,查询基础认证数据库,将查找到的相关数据(主叫号码，IMSI，设备号)回填到日志数据中，供后续各个业务模块使用。

传统的数据关联方法大致分为两类：

一、将格转后的基础数据存入单节点系统的内存链表中，对链表查询进行业务关联处理。这种方法无法全局使用基础数据，关联率低。尤其是当基础数据量达到一定量的时候，会受限于服务器内存大小，而且数据存储不持久，一旦服务器停机，基础数据会丢失，造成数据的使用率低。

二、采用硬编码的方式在实时数据中进行关联。此种方式能满足时效性的要求，但是当面对种类繁多、类型多变且大批量的的业务规则时，开发人员很难对此作出及时响应，业务人员也无法单独进行业务部署。

综上所述，海量数据实时关联系统需要：

1)实时性：面向实时数据流；规则实时生效。

2)可扩展：能够由业务人员单独进行规则的编写管理。

3)可定制：可支持多个关联业务场景。

4)可靠性：巨量的日志数据和巨量的基础数据就决定了系统必须要有足够的稳定性和健壮性。

发明内容

针对现有技术中存在的问题，本发明的目的在于提供一种满足上述实时关联系统要求的数据关联方法，保证数据的实时性，保证关联规则可扩展、可定制、并且能够实时更新，保证系统的稳定健壮。

本发明的技术方案为：

一种基于redis集群的海量数据关联方法，其步骤为：

1)创建Redis内存数据库集群，采用内存数据库redis存储基础数据；

2)在关联系统中配置一标准化关联策略文件，其包括协议类型、过滤条件、关联字段和回填字段信息；

3)关联系统根据该标准化关联策略文件，从日志数据中挑选设定的关联字段形成关联key，然后根据该key值从内存数据库redis中关联出匹配的基础数据；

4)关联系统根据该标准化关联策略文件中配置的回填字段信息，将关联出的基础数据填入该日志数据的对应字段。

进一步的，所述标准化策略文件包括redis数据库创建规则和redis数据库关联操作规则；其中，redis数据库创建规则包括关联类型、协议类型、需要回填的字段、关联字段、过滤条件和集群类型；redis数据库关联操作规则包括关联类型、协议类型、关联字段、过滤条件和集群类型。

进一步的，步骤1)中，采用zset对关键字为IP地址、基础数据为IP地址段的数据进行存储，采用json格式以字符串形式对其他基础数据进行存储。