[发明专利]一种数据处理方法、装置、系统、服务器及可读存储介质

说明书

本发明公开了一种数据处理方法、装置、系统、服务器及可读存储介质，该方法包括：接收上网流量数据包，获取发送所述上网流量数据包的网关路由器的标识信息；根据预先初始化的每个内存队列及所述标识信息，确定所述标识信息对应的目标内存队列；将所述上网流量数据包存入所述目标内存队列，并采用所述目标内存队列对应的单线程处理所述上网流量数据包。本发明中服务器将接收到的上网流量数据包存入对应的目标内存队列中，并采用目标内存队列对应的单线程处理该上网流量数据，避免了多线程处理数据的时效性无法保证，保证了发往下游业务系统的数据包的有序性，从而保证了下游业务系统能够准确分析出用户上网行为。

技术领域

本发明涉及网络技术领域，尤其涉及一种数据处理方法、装置、系统、服务器及可读存储介质。

背景技术

用户终端通过WiFi与网关路由器连接，期间产生的上网流量数据的数据包会通过网关上的插件以UDP的形式发往远程服务器的UDP SERVER上，即网关路由器实时通过UDP的形式上报用户终端的上网流量数据的数据包，数据包的内容是二层数据包前面加上pcap包格式的头，通过UDP SERVER接收处理，UDP SERVER将数据包进行处理发往下游业务系统，下游业务系统可以根据用户完整有序的上网流量数据，准确分析出一个用户完整的上网行为。

UDP SERVER通常会通过异步的形式对数据包进行处理，即通常会采用UDP SERVER中的多线程进行处理，如图1所示的数据传输架构中仅存在一个UDP SERVER，客户端1、客户端2及客户端M可以分别理解为网关路由器1，网关路由器2及网关路由器M，客户端1、客户端2及客户端M分别将用户终端的上网流量数据即数据包发送给对应的UDP SERVER，UDPSERVER将数据存入本地的内存队列，内存队列解耦，然后启动一个线程池，通过后台多线程包括线程1、线程2及线程N采用异步非阻塞的方式从内存队列中取出数据进行业务处理，然后将数据包发往下游业务系统。

采用图1所示的数据传输架构，同一网关路由器的上网流量数据会被该一个UDPSERVER中的多个线程并发处理，但是由于多线程在处理数据包时处理完成的前后顺序无法保证，因此可能导致发送给下游业务系统的上网流量数据为乱序。并且在图1的基础上增加多个UDP SERVER，即如果UDP SERVER为集群部署，则同一网关路由器的上网流量数据可能会被转发到多台UDP SERVER中，而多台UDP SERVER中的多个线程的并发处理更加无法保证数据的时序性。

综上所述，现有技术中多个发送方并发地发送数据，能够保证UDP SERVER中多个线程并发地从同一个内存队列中取数据，可以保证多个线程取数据的时序性，但是由于在高并发下，多个线程会并发地抢占该队列中的数据，每个数据包只能被处理一次，由于每个线程处理的时效性无法保证，有可能先拿到数据的线程，后处理完成，这就导致发往下游业务系统的数据出现了乱序，下游业务系统无法通过乱序的数据包分析出正确的用户上网行为，甚至有可能造成分析错误。

发明内容

本发明提供了一种数据处理方法、装置、系统、服务器及可读存储介质，用以解决现有技术中多线程处理数据的时效性无法保证，导致下游业务系统无法正确分析出用户上网行为的问题。

本发明提供了一种数据处理方法，应用于服务器，该方法包括：

接收上网流量数据包，获取发送所述上网流量数据包的网关路由器的标识信息；

根据预先初始化的每个内存队列及所述标识信息，确定所述标识信息对应的目标内存队列；

将所述上网流量数据包存入所述目标内存队列，并采用所述目标内存队列对应的单线程处理所述上网流量数据包。

进一步地，所述网关路由器的标识信息包括媒体访问控制MAC地址和/或互联网协议IP地址。

进一步地，如果所述网关路由器的标识信息包括MAC地址，所述根据预先初始化的每个内存队列及所述标识信息，确定所述标识信息对应的目标内存队列包括：