[发明专利]一种基于redis集群的海量数据关联方法

权利要求书

1.一种基于redis集群的海量数据关联方法，其步骤为：

1)创建Redis内存数据库集群，采用内存数据库redis存储基础数据；

2)在关联系统中配置一标准化关联策略文件，其包括协议类型、过滤条件、关联字段和回填字段信息；

3)关联系统根据该标准化关联策略文件，从日志数据中挑选设定的关联字段形成关联key，然后根据该key值从内存数据库redis中关联出匹配的基础数据；

4)关联系统根据该标准化关联策略文件中配置的回填字段信息，将关联出的基础数据填入该日志数据的对应字段。

2.如权利要求1所述的方法，其特征在于，所述标准化关联 策略文件包括redis数据库创建规则和redis数据库关联操作规则；其中，redis数据库创建规则包括关联类型、协议类型、需要回填的字段、关联字段、过滤条件和集群类型；redis数据库关联操作规则包括关联类型、协议类型、关联字段、过滤条件和集群类型。

3.如权利要求1或2所述的方法，其特征在于，步骤1)中，采用zset对关键字为IP地址、基础数据为IP地址段的数据进行存储，采用json格式以字符串形式对其他基础数据进行存储。

4.如权利要求1或2所述的方法，其特征在于，所述基础数据为无线基础数据，以隧道号作为key，以截获时间、手机号码、IMSI号和硬件序列号组成的json串作为value，将无线基础数据存储到内存数据库redis中。

5.如权利要求1或2所述的方法，其特征在于，所述基础数据为IP段基础数据，以IP类型为key，对于每段IP，以IP所在的地市编码分别连接IP段起始值、字符串end作为成员，同时IP段的起始值和终止值分别为其分数，将IP段基础数据存储到内存数据库redis中的SortedSet集合，Sortedset集合为value。

6.如权利要求1或2所述的方法，其特征在于，所述Redis内存数据库集群采用cluster和master-slave模式。