[发明专利]一种基于混合数据库的多业务用户数据管理系统及其方法

说明书

技术领域

本发明涉及一种用户数据管理系统和方法，尤其是涉及一种基于混合数据 库的多业务用户数据管理系统及其方法。

背景技术

关系数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学 概念和方法来处理数据库中的数据。由于具有保持数据一致性、丰富的完整性、 数据库维护量小、技术发展成熟等突出优势，关系型数据库已成为应用广泛的 通用型数据库。但是近年来，随着互联网的兴起，传统的关系数据库在应付各 行各业服务应用，特别是超大规模和高并发的SNS类型的web2.0纯动态网站及 海量数据计算时已经显得力不从心，暴露了很多难以克服的问题，而非关系型 数据库则由于本身高性能并发读写能力、海量数据的高效读写、高可扩展性和 可用性等特点得到了非常迅速的发展。

与关系型数据库相比，非关系型数据库最大的优势是它们能高效地处理非 结构化的数据，如字符文件、邮件、多媒体、社交媒体等。但非关系型数据库 不支持SQL、支持的特性不够丰富、技术尚不成熟等缺点，制约了非关系型数 据库的广泛应用。

发明内容

针对上述问题，本发明提出了一种基于混合数据库的多业务用户数据管理 系统及其方法，其中采用关系型数据库和非关系型数据库相结合的方式对数据 进行存储。

本发明提出一种基于混合数据库的多业务用户数据管理系统，包括：

系统出口入口模块，所述出口入口模块用于导入和导出用户数据；

分布式处理模块，所述分布式处理模块包括对所述用户数据进行数据分类 的数据分类模块、对经分类后的用户数据进行筛选和清洗的数据筛分录入模块、 对经筛选和清洗后的用户数据进行基础整合的数据整合模块、对经基础整合后 的用户数据进行二次整合的数据查询模块；和

数据存储集群系统，所述数据存储集群包括用于存储结构化数据的关系型 数据库集群，用于存储需要进行复杂计算的数据的Hadoop集群，用于存储非结 构化数据的MongoDB集群。

进一步地，所述系统入口出口模块包括数据接入模块和权限控制模块，所 述数据接入模块用于导入用户数据，所述权限控制模块用于处理外来请求权限 校验和数据导出。

进一步地，所述数据分类模块、数据筛选录入模块、数据查询模块、数据 整合模块之间数据的传输采用生产者消费者模式，并以Redisqueue作为集群消 息队列。

进一步地，所述数据存储集群的关系型数据库集群为Redis集群。

本发明提供了一种基于混合数据库的多业务用户数据管理方法，包括如下 步骤：

S1：将用户数据导入到系统入口出口模块；

S2：对所述用户数据进行数据分类；

S3：对经分类后的用户数据进行筛选和清洗；

S4：对经筛选和清洗后的用户数据进行基础整合；

S5：对经基础整合后的用户数据进行二次整合；

S6：对经二次整合后的用户数据进行存储，其中结构化数据存储在关系型 数据库集群中，需要进行复杂计算的数据存储在Hadoop数据库集群中，非结构 化数据存储在MongoDB数据库集群中。

进一步地，步骤S6中所述的关系型数据库集群为Redis数据库集群。

本发明采用传统关系型数据库与非关系型数据库相结合的方式对数据进行 分类存储，这种混合数据库的存储模式发挥了关系型数据库在处理结构化数据 时通用性强和保持数据一致性的优点，同时具备了非关系型数据库针对海量非 结构化数据较强的读写能力以及架构模块高可扩展性等特点。

附图说明

图1是本发明一种基于混合数据库的多业务用户数据管理系统的一个实施 例的结构示意图。

图2是本发明一种基于混合数据库的多业务用户数据管理方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，本发明一种基于混合数据库的多业务用户数据管理系统，包括：

系统出口入口模块1，所述出口入口模块1用于导入和导出用户数据；