[发明专利]数据捕获方法、装置、系统、电子设备及存储介质

说明书

本申请提供一种数据捕获方法、装置、系统、电子设备及存储介质。该方法包括：接收目标数据信息；根据目标数据信息确定目标数据的当前数据量；根据当前数据量确定目标工作实例；利用目标工作实例根据目标数据信息从数据源获取目标数据；根据反压机制将目标数据缓存至与目标工作实例绑定的目标存储环。从而提高了数据捕获的采集效率，利用目标工作实例对目标数据进行获取，减少中间数据处理逻辑，并且可以根据反压机制将目标数据进行缓存，使得根据目标数据的当前数据量选择有足够的存储空间的目标工作实例对目标数据进行获取，将目标数据进行集中式管理，降低了元数据的捕获难度。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据捕获方法、装置、系统、电子设备及存储介质。

背景技术

相关技术中，大数据业务存储的元数据地址以及数据格式不同，只能通过多个不同的存储中间件，分别单独实施一套数据治理方案对元数据进行管理，造成元数据分散难以集中式管理，元数据难以捕获的问题。

发明内容

有鉴于此，本申请的目的在于提出一种数据捕获方法、装置、系统、电子设备及存储介质。

基于所述目的，在第一方面，本申请提供了一种数据捕获方法，包括：

接收目标数据信息；

根据所述目标数据信息确定目标数据的当前数据量；

根据所述当前数据量确定目标工作实例；

利用所述目标工作实例根据所述目标数据信息从数据源获取所述目标数据；

根据反压机制将所述目标数据缓存至与所述目标工作实例绑定的目标存储环。

在一种可能的实现方式中，所述目标数据信息，包括：连接信息和数据关键字段；

所述根据所述目标数据信息确定目标数据的当前数据量，还包括：

根据所述连接信息确定数据源地址；

根据所述数据源地址通过寻址的方式访问所述数据源；

根据所述数据关键字段确定是否在所述数据源中匹配到所述目标数据；

响应于在所述数据源中匹配到所述目标数据，确定所述目标数据的当前数据量。

在一种可能的实现方式中，所述目标工作实例，包括：第一目标工作实例；

所述根据所述当前数据量确定目标工作实例，还包括：

获取每个工作实例的剩余容量；

确定是否存在所述剩余容量不小于所述当前数据量的候选工作实例；

响应于存在所述剩余容量不小于所述当前数据量的候选工作实例，将所述剩余容量最大的候选工作实例确定为所述第一目标工作实例。

在一种可能的实现方式中，所述目标工作实例，还包括：第二目标工作实例；所述目标存储环，包括：第二目标存储环；

所述根据反压机制将所述目标数据缓存至与所述目标工作实例绑定的目标存储环，包括：

响应于不存在所述剩余容量不小于所述当前数据量的候选工作实例，将所述剩余容量最大的工作实例确定为所述第二目标工作实例；

确定与第二目标工作实例绑定的第二目标存储环；

根据所述反压机制调整所述第二目标存储环以使所述第二目标工作实例的剩余容量不小于所述当前数据量；

将所述目标数据缓存至所述第二目标存储环。

在一种可能的实现方式中，所述第二目标存储环，包括：首地址；