[发明专利]一种基于OGG技术判别拆分进程的方法、装置及设备

说明书

本申请实施例提供了一种基于OGG技术判别拆分进程的方法、装置和设备，包括：获取进程的统计信息，确定进程的实际吞吐量，统计信息包括目标文件；根据调取日志量和目标文件的转换系数，确定预吞吐量；判断预吞吐量和实际吞吐量的关系是否满足第一预设条件；在满足预设条件的情况下，对进程进行拆分。本申请，通过获取统计信息，优化执行、拆分进程，使得基于OGG技术中的进程能够及时应对业务系统变更带来的数据变更，能够防止突发的业务变更导致数据同步延时而影响数据的及时性和一致性，以及在提高OGG进程数据提取和复制效率的同时，降低人力成本。

技术领域

本发明属于数据传输技术领域，尤其涉及一种基于OGG技术判别拆分进程的方法、装置、设备和计算机存储介质。

背景技术

在使用Oracle GoldenGate(以下简称OGG)作为数据库复制解决方案时，随着业务负载的增加，提取(extract)和复制(replicat)进程组件常常是最先出现性能瓶颈的。为了适应不断增加的业务负载，需要进程拆分来实现并行处理。

目前，OGG进程中的extract进程组件和replicat进程组件是相互独立，是否进行进程拆分主要依赖于数据库管理员(database administrator，DBA)长期积累的维护经验及技术水平。但是，随着业务的变更，会导致DBA不能及时判别业务的变更所带来的数据变化，常表现为extract进程组件和replicat进程组件产生较大处理延迟，此时，需要DBA介入调整OGG进程配置，一般从业务的变更到最终DBA介入往往历时数小时甚至数天，导致无法及时解决问题，效率低下。

因此，需要提出一种更加合理的进程拆分的方法，能够实现在提高OGG进程数据提取和复制效率的同时，降低人力成本的目的。

发明内容

本申请实施例提供一种基于OGG进程拆分的方法、装置、设备和计算机存储介质，避免了因业务的变更而导致进程拆分不及时，影响OGG进程数据提取和复制的一致性和实时性，以及减少人工干预的问题。

第一方面，本申请实施例提供了一种基于OGG技术判别拆分进程的方法，具体可以包括：

获取进程的统计信息，确定进程的实际吞吐量，统计信息包括目标文件；

根据调取日志量和目标文件的转换系数，确定预吞吐量；

判断预吞吐量和实际吞吐量的关系是否满足第一预设条件；

在满足预设条件的情况下，对进程进行拆分。

本申请，通过获取统计信息，优化执行、拆分进程，使得基于OGG技术中的进程能够及时应对业务系统变更带来的数据变更，能够防止突发的业务变更导致数据同步延时而影响数据的及时性和一致性，以及在提高OGG进程数据提取和复制效率的同时，降低人力成本。

在一种可能的实施方式中，上述“获取进程的统计信息，确定进程的实际吞吐量”的步骤中，具体可以包括：统计进程处理目标文件所用的时间t；确定相邻两次处理目标文件的相对字节地址；根据相邻两次处理目标文件的相对字节地址和t，确定进程的实际吞吐量。

在另一种可能的实施方式中，上述“根据调取日志量和目标文件的转换系数，确定预吞吐量”的步骤中，具体可以包括：调取单位时间内的日志量；根据单位时间内的日志产生的目标文件的量与单位时间内的日志量的比值，确定目标文件的转换系数；根据单位时间内的日志量与目标文件的转换系数，确定预吞吐量。

在又一种可能的实施方式中，上述“判断预吞吐量和实际吞吐量的关系是否满足第一预设条件”的步骤中，具体可以包括：判断预吞吐量是否小于实际吞吐量；若预吞吐量小于或等于实际吞吐量，则不满足第一预设条件；若预吞吐量大于实际吞吐量，则满足第一预设条件。