[发明专利]数据捕获方法、装置、系统、电子设备及存储介质

权利要求书

1.一种数据捕获方法，其特征在于，包括：

接收目标数据信息；

根据所述目标数据信息确定目标数据的当前数据量；

根据所述当前数据量确定目标工作实例；

利用所述目标工作实例根据所述目标数据信息从数据源获取所述目标数据；

根据反压机制将所述目标数据缓存至与所述目标工作实例绑定的目标存储环。

2.根据权利要求1所述的方法，其特征在于，所述目标数据信息，包括：连接信息和数据关键字段；

所述根据所述目标数据信息确定目标数据的当前数据量，还包括：

根据所述连接信息确定数据源地址；

根据所述数据源地址通过寻址的方式访问所述数据源；

根据所述数据关键字段确定是否在所述数据源中匹配到所述目标数据；

响应于在所述数据源中匹配到所述目标数据，确定所述目标数据的当前数据量。

3.根据权利要求1所述的方法，其特征在于，所述目标工作实例，包括：第一目标工作实例；

所述根据所述当前数据量确定目标工作实例，还包括：

获取每个工作实例的剩余容量；

确定是否存在所述剩余容量不小于所述当前数据量的候选工作实例；

响应于存在所述剩余容量不小于所述当前数据量的候选工作实例，将所述剩余容量最大的候选工作实例确定为所述第一目标工作实例。

4.根据权利要求3所述的方法，其特征在于，所述目标工作实例，还包括：第二目标工作实例；所述目标存储环，包括：第二目标存储环；

所述根据反压机制将所述目标数据缓存至与所述目标工作实例绑定的目标存储环，包括：

响应于不存在所述剩余容量不小于所述当前数据量的候选工作实例，将所述剩余容量最大的工作实例确定为所述第二目标工作实例；

确定与所述第二目标工作实例绑定的第二目标存储环；

根据所述反压机制调整所述第二目标存储环以使所述第二目标工作实例的剩余容量不小于所述当前数据量；

将所述目标数据缓存至所述第二目标存储环。

5.根据权利要求4所述的方法，其特征在于，所述第二目标存储环，包括：首地址；

所述调整所述第二目标存储环以使所述第二目标工作实例的剩余容量不小于所述当前数据量，包括：

将与所述第二目标工作实例的剩余容量相同数据量的所述目标数据写入所述第二目标存储环；

将冗余数据溢写到下游的存储库；其中，所述冗余数据为所述第二目标存储环中除上述目标数据外的数据；

将所述目标数据的剩余数据写入所述第二目标存储环；

根据所述首地址和所述存储库中的所述冗余数据的数据量重新确定所述首地址。

6.根据权利要求3所述的方法，其特征在于，所述目标存储环，还包括：第一目标存储环；

所述根据反压机制将所述目标数据缓存至与所述目标工作实例绑定的目标存储环，包括：

确定与所述第一目标工作实例绑定的第一目标存储环；其中，所述第一目标存储环，包括：位移标记；

根据所述反压机制将所述目标数据写入所述第一目标存储环；

根据所述当前数据量和所述位移标记确定存储结束地址。

7.根据权利要求1所述的方法，其特征在于，所述目标数据包括通过针对二进制数据解析获得的通用数据。

8.根据权利要求1所述的方法，其特征在于，所述利用所述目标工作实例根据所述目标数据信息从数据源获取所述目标数据，包括：

根据所述目标数据信息确定抽取逻辑；所述抽取逻辑包括全量抽取逻辑；

响应于所述抽取逻辑为所述全量抽取逻辑，根据所述目标工作实例获取所述数据源中全部数据，作为所述目标数据。