[发明专利]一种日志数据上报方法、装置、设备及存储介质

说明书

本公开提供了一种日志数据上报方法、装置、设备及存储介质，涉及数据传输领域，尤其涉及日志数据上报技术领域，具体涉及一种日志数据上报方法、装置、设备以及存储介质。具体实现方案为：当检测到目标消息中间件存储有日志数据时，从所述目标消息中间件中拉取日志数据；按照预定的上报策略，向日志服务器发送所拉取的日志数据，以使所述日志服务器在接收到日志数据后，保存所接收到的日志数据。通过本方案，可以避免高峰期的日志数据对日志服务器造成存储压力，从而减少日志数据上报失败或丢失的概率。

技术领域

本公开涉及数据传输技术领域，尤其涉及日志数据上报技术领域，具体涉及一种日志数据上报方法、装置、设备及存储介质。

背景技术

日志数据的分析是目前分析互联网产品的用户行为的重要方法。

用户在使用客户端的过程中，若产生点击、浏览或者购买等行为，则客户端根据用户的行为生成日志数据，并将日志数据上报到日志服务器。

发明内容

本公开提供了一种日志数据上报方法、装置、设备及存储介质。

根据本公开的一方面，提供了一种日志数据上报方法，该方法包括：

当检测到目标消息中间件存储有日志数据时，从所述目标消息中间件中拉取日志数据；其中，所述目标消息中间件所存储的日志数据为：客户端上报的日志数据；

按照预定的上报策略，向日志服务器发送所拉取的日志数据，以使所述日志服务器在接收到日志数据后，保存所接收到的日志数据；

其中，所述预定的上报策略包括，针对所述目标消息中间件的日志数据的上报速率，不高于所述日志服务器的吞吐量。

根据本公开的另一方面，提供了一种日志数据上报系统，包括：部署有目标消息中间件的目标节点，以及客户端对应的服务器；

所述服务器，用于接收所述客户端上报的日志数据，并将所接收到的日志数据写入所述目标消息中间件中；

所述目标节点，用于当检测到目标消息中间件中存储有日志数据时，从所述目标消息中间件中拉取日志数据；按照预定的上报策略，向日志服务器发送所拉取的日志数据，以使所述日志服务器在接收到日志数据后，保存所接收到的日志数据；

其中，所述预定的上报策略包括针对所述目标消息中间件的日志数据的上报速率，不高于所述日志服务器的吞吐量。

根据本公开的另一方面，提供了一种日志数据上报装置，该装置包括：

拉取模块，当检测到目标消息中间件存储有日志数据时，从所述目标消息中间件中拉取日志数据；其中，所述目标消息中间件所存储的日志数据为：客户端上报的日志数据；

发送模块，用于按照预定的上报策略，向日志服务器发送所拉取的日志数据，以使所述日志服务器在接收到日志数据后，保存所接收到的日志数据；其中，所述预定的上报策略包括针对所述目标消息中间件的日志数据的上报速率，不高于所述日志服务器的吞吐量。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述日志数据上报方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行日志数据上报方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述日志数据上报方法。