[发明专利]用于处理网络数据的方法和装置、服务器和存储介质

说明书

本公开提供了一种用于处理网络数据的方法，包括：将接收到的网络数据存储到第一缓冲区；从第一缓冲区解析网络数据；向消息队列系统发送解析后的网络数据；如果发送失败，则将解析后的网络数据存储到第二缓冲区。本公开通过设置两个缓冲区，提高了处理网络数据的可伸缩性、容错性和稳定性。

技术领域

本公开涉及网络技术，具体涉及用于处理网络数据的方法和装置、服务器和存储介质

背景技术

大数据的第一个环节是网络数据采集。网络数据采集一般通过在用户端埋点，埋点后通过Http协议上报网络数据到服务器。这种上报数据特点是数据海量，并发度要求很高，因为每一次点击都会产生一个或多个上报。这就要求http服务器具有高并发和高吞吐量。

现有解决方案是采用高性能能web服务器Nginx+lua。Nginx是一种高性能的web服务器，可用于负责接收数据，lua一种轻量级的脚本语言，可用于负责做简单的计算。然后可以将网络数据发送到kafka，并记录离线文件。其中，kafka是一种基于磁盘的消息队列系统，可以将网络数据按类型形成队列，并消费。

在实现本发明的过程中，发明人发现现有技术至少存在如下技术问题：这种设计的瓶颈在lua语言中的接收逻辑与Nginx高度耦合，在高并发下会拖慢Nginx速度，降低了系统的可伸缩性，在电商大促时突增的网络流量数据，只能通过扩容来解决。

发明内容

根据本公开的第一方面，提供了一种用于处理网络数据的方法，所述方法通常可以在服务器中执行，包括：将接收到的网络数据存储到第一缓冲区；从所述第一缓冲区解析所述网络数据；向消息队列系统(例如kafka集群)发送解析后的网络数据；如果发送失败，则将所述解析后的网络数据存储到第二缓冲区。

在一个实施例中，所述网络数据以磁盘日志文件的形式存储在所述第一缓冲区中。

在一个实施例中，所述方法还可以包括定期在所述第一缓冲区中产生包括相应时间段内的网络数据的磁盘日志文件。

在一个实施例中，所述解析后的网络数据以磁盘队列的形式存储在所述第二缓冲区中。

在一个实施例中，所述方法还可以包括根据到所述消息队列系统的网络条件，调整从所述第一缓冲区解析所述网络数据的速度，以提供到所述消息队列系统的平稳流量。

在一个实施例，所述方法还可以包括从第二缓冲区中取出网络数据重新向消息队列系统发送。

根据本公开的第二方面，提供了一种用于处理网络数据的装置，包括：第一缓冲单元，被配置为将网络数据存储到第一缓冲区；解析单元，被配置为从所述第一缓冲区解析所述网络数据；发送单元，被配置为向消息队列系统发送解析后的网络数据；以及第二缓冲单元，被配置为如果发送失败，则将所述解析后的网络数据存储到第二缓冲区。

在一个实施例中，所述网络数据可以以磁盘日志文件的形式存储在所述第一缓冲区中。

在一个实施例中，所述第一缓冲单元还可以被配置为定期在所述第一缓冲区中产生包括相应时间段内的网络数据的磁盘日志文件。

在一个实施例中，所述解析后的网络数据以磁盘队列的形式存储在所述第二缓冲区中。

在一个实施例中，所述解析单元还可以被配置为根据到所述消息队列系统的网络条件，调整从所述第一缓冲区解析所述网络数据的速度，以提供到所述消息队列系统的平稳流量

在一个实施例中，所述发送单元还可以被配置为从第二缓冲区中取出网络数据重新向消息队列系统发送。

根据本公开的第三方面，提供了一种服务器，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。