[发明专利]一种数据逻辑分区的方法和系统

说明书

技术领域

本发明涉及数据库技术领域，尤其涉及一种数据逻辑分区的方法和系统。

背景技术

实时应用集群(Real Application Clusters，RAC)多节点分布式的云计算方案成了电信行业数据中心的必需技术手段。RAC通过增加数据库实例节点，增加数据库的整体处理能力，同时克服主机(实例)单点故障。但RAC的整体能力并非随数据库实例节点个数增加而线形增加，因为节点之间一致性通信，内存合并会消耗一定资源，限制整体能力提升，使用不好造成节点之间形成集群锁问题，甚至降低能力。目前省级电信公司客户关系管理系统(Customer Relationship Management，CRM)按照地市的维度进行数据的纵向切分，或使用数据库提供的范围分区表技术对客户数据进行分区建立分区表，以满足RAC数据物理分区提高性能的原则。

RAC的最佳实践应该根据应用的数据结构、业务处理结构特点进行数据的分片和离散设计。减少交叉访问，降低RAC内部通讯的管理消耗。从而平衡节点之间的负荷，提高整体集群的能力。目前普遍使用的方法是按自然地理的行政区域划分客户数据进行数据分片。或使用数据库提供的分区表技术对客户数据进行分片。

但这些方法存在以下问题：

1、数据库分区表技术对索引，查询使用，维护要求复杂，在灵活的应用场景下，表现很大局限性。

2、直辖市模式或单一行政区域数据模式下按照以上方法进行数据切分，造成RAC系统的性能、稳定性、可扩展性问题难以得到保证，应用部署到各个节点造成RAC的GC、GE等故障。

在目前正在进行的全国集中、基地建设等大统一系统建设中无法实现有效数据分片设计，没有普遍适用的数据分片方法用于对数据分区。

发明内容

为了解决现有技术中存在的不能实现有效数据分片的技术问题，本发明提出一种数据逻辑分区的方法和系统，适合各种大型RAC数据中心，能够实现快速分布计算，数据分片灵活。

本发明一方面提供了一种数据逻辑分区的方法，适用于电信CRM系统RAC数据库，

对于业务数据设置客户编号为唯一标识；

以所述客户编号为键值，采用不少于1个阶段的消除取余哈希算法对业务数据进行数据分片。

本发明另一方面提供了一种数据逻辑分区的系统，适用于电信CRM系统RAC数据库，包括应用节点和数据库节点，应用节点与数据库节点连接，其中，

应用节点用于对于业务数据设置客户编号为唯一标识，以所述客户编号为键值，采用不少于1个阶段的消除取余哈希算法对业务数据进行数据分片；

数据库节点用于存储业务数据。

本发明的技术方案适应性强，能够适合各种大型RAC数据中心，而且由于采取了多阶段哈希取模逻辑分片和分区路由访问，从而可以实现无阻塞高性能和分布式高扩张性，克服数据分区表的局限性。

附图说明

图1是本发明实施例一中数据逻辑分区系统的结构示意图。

图2是本发明实施例二中数据逻辑分区的流程图。

图3是本发明实施例二中数据访问流程图。

图4是本发明实施例中CRM系统的部署示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行详细描述。

图1是本发明实施例一中数据逻辑分区系统的结构示意图。如图1所示，该数据逻辑分区系统适用于电信CRM系统RAC数据库，包括客户端101、应用节点102和数据库节点103。

客户端与应用节点连接，应用节点与数据库节点连接。

其中，客户端用于在应用接入层通过前端传入的关键字段获取需要访问的应用节点。

应用节点用于对于业务数据设置客户编号为唯一标识，以所述客户编号为键值，采用不少于1个阶段的消除取余哈希算法对业务数据进行数据分片，还根据指定的数据源配置访问对应的数据库节点，并通过所述不少于1个阶段的哈希路由访问所述数据库节点中存储的分片业务数据。

数据库节点进一步包括不少于1个的数据分片，用于存储业务数据。

基于上述系统，本发明的具体实施方式提出了一种数据逻辑分区的方法，图2是本发明实施例二中数据逻辑分区的流程图。如图2所示，该流程包括以下步骤：

步骤201、通过对客户业务数据内部逻辑改造，对于所有客户业务数据设置客户编号为唯一标识；

步骤202、以客户编号为键值，采用1阶段或者n阶段的消除取余哈希算法对业务数据进行数据分片。