[发明专利]一种数据推送方法、装置、电子设备及存储介质

说明书

本发明提供的一种数据推送方法、装置、电子设备及存储介质，在接收到客户端发送的数据订阅请求后，基于数据订阅请求确定客户端订阅的目标主题以及目标数据源，利用目标数据源对应的目标推送方式向客户端推送目标数据源中目标主题的增量数据。本发明支持对多种数据源中的增量数据进行推送。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据推送方法、装置、电子设备及存储介质。

背景技术

目前的数据推送是基于binlog的增量数据订阅功能实现的，binlog是一个二进制格式的日志文件，用于记录用户对数据库更新的SQL语句信息，例如更改数据库表的SQL语句、删除数据库表的SQL语句等。

现有的基于binlog的增量数据订阅功能进行数据推送时通常为：对数据库的binlog进行解析获得数据库中的增量数据，然后将增量数据推送到订阅客户端。

由此可见，目前的数据订阅功能仅支持对数据库中的增量数据进行推送，无法支持对多种数据源中的增量数据进行推送。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本发明提供了一种数据推送方法、装置、电子设备及存储介质。

第一方面，本发明实施例提供了一种数据推送方法，包括：

接收客户端发送的数据订阅请求；

基于所述数据订阅请求确定所述客户端订阅的目标主题以及目标数据源；

采用与所述目标数据源对应的目标推送方式，向所述客户端推送所述目标数据源中所述目标主题的增量数据。

作为一种可能的实现方式，所述确定所述客户端订阅的目标主题以及目标数据源，包括：

从所述数据订阅请求中解析出所述客户端的客户端标识；

从预设的订阅任务中查找包含所述客户端标识的订阅任务作为所述客户端对应的目标订阅任务；

从所述目标订阅任务中解析出所述客户端订阅的目标主题以及目标数据源。

作为一种可能的实现方式，在所述采用与所述目标数据源对应的目标推送方式，向所述客户端推送所述目标数据源中所述目标主题的增量数据之前，所述方法还包括：

确定所述客户端是否具有订阅所述目标主题的权限；

若确定所述客户端具有订阅所述目标主题的权限，则执行所述采用与所述目标数据源对应的目标推送方式，向所述客户端推送所述目标数据源中所述目标主题的增量数据的步骤。

作为一种可能的实现方式，在所述目标数据源为对象存储系统的情况下，所述采用与所述目标数据源对应的目标推送方式，向所述客户端推送所述目标数据源中所述目标主题对应的增量数据，包括：

从所述对象存储系统的消息队列中获取所述目标主题的增量数据在所述对象存储系统中的存储地址；

将所述存储地址推送至所述客户端，以使所述客户端基于所述存储地址从所述对象存储系统中下载所述增量数据至目标目录。

作为一种可能的实现方式，在所述目标数据源为分布式流处理系统的情况下，所述采用与所述目标数据源对应的目标推送方式，向所述客户端推送所述目标数据源中所述目标主题的增量数据，包括：

基于所述目标主题对所述分布式流处理系统进行查询，以获取所述分布式流处理系统中存储的与所述目标主题对应的增量数据；

将所述增量数据推送至所述客户端。

作为一种可能的实现方式，所述方法还包括：

接收客户端发送的数据查询请求，从目标数据库中确定与所述数据查询请求中携带的查询条件相匹配的数据集；