[实用新型]一种基于网络数据传输设备实时数据采集设备

说明书

本实用新型公开了一种基于网络数据传输设备实时数据采集设备，包括数据采集模块、数据解析模块和数据过滤模块，所述数据采集模块通过数据协议模块与所述数据解析模块电连接，所述数据协议模块通过Kafka队列模块一与所述数据解析模块电连接，所述数据解析模块通过Kafka队列模块二与所述数据过滤模块电连接，其中，所述数据采集模块顶部设置有信令报文模块和数据报文模块，所述数据报文模块的顶部设置有采集模块、解析模块和清洗模块，所述数据采集模块的底部设置有数据交换模块，所述数据交换模块的底部设置有流处理模块和批处理模块，所述流处理模块和所述批处理模块的底部设置有SplitFlow设备。有益效果：大大提升了数据处理的效率。

技术领域

本实用新型涉及大数据采集技术领域，具体来说，涉及一种基于网络数据传输设备实时数据采集设备。

背景技术

所谓从网络传输设备上实时进行数据采集，是指直接从网络接口卡、光纤分光器等网络数据传输设备上按照既定的数据协议读取网络中传输的数据，这样可以进最大速率把数据采集到大数据平台中，进行数据增值处理和加工。随着“互联网+”的普及，社会从“IT”时代跨越到了“DT”时代，大数据平台应运而生，而数据的量级是平台发展的前提，如果大数据平台没有足够的数据需要处理，无法发挥其真正的作用，因此数据获取则是大数据平台关键的和不可获取的组成部分。当今大数据平台的数据采集模块多倾向于离线采集和实时采集相结合，以定时采集文件和实时从消息队列获取数据为主要方式；这种数据采集方式有比较多的局限性：数据获取受限于消息队列的提供方的效率；另外，随着网络带宽不断提升，直接从网络设备上获取数据将成为必然的趋势，并且海量宝贵的数据资源如果不能实时获取，长远来看，本身也是一种损失。因此我们发明了直接从网络传输设备上直接获取数据，从而提高数据采集的速率，快速把大量数据采集到系统中来，并进行相应的网络协议、数据协议解析，输出为可以使用的结构化数据。

针对相关技术中的问题，目前尚未提出有效的解决方案。

实用新型内容

针对相关技术中的问题，本实用新型提出一种基于网络数据传输设备实时数据采集设备，以克服现有相关技术所存在的上述技术问题。

本实用新型的技术方案是这样实现的：

一种基于网络数据传输设备实时数据采集设备，包括数据采集模块、数据解析模块和数据过滤模块，所述数据采集模块通过数据协议模块与所述数据解析模块电连接，所述数据协议模块通过Kafka队列模块一与所述数据解析模块电连接，所述数据解析模块通过Kafka队列模块二与所述数据过滤模块电连接，其中，所述数据采集模块顶部设置有信令报文模块和数据报文模块，所述数据报文模块的顶部设置有采集模块、解析模块和清洗模块，所述数据采集模块的底部设置有数据交换模块，所述数据交换模块的底部设置有流处理模块和批处理模块，所述流处理模块和所述批处理模块的底部设置有SplitFlow设备，所述数据解析模块包括信令协议解析模块、数据业务协议解析模块、移动网络核心网3G协议解析模块和移动网络核心网4G协议解析模块，其中，所述信令协议解析模块包括固网radius信令模块、移动网络Radius信令模块、移动网络核心网网GTP-C信令模块和自定义信令协议模块。

进一步的，所述SplitFlow设备的数据丢包率小于万分之一。

进一步的，所述数据采集模块与网络设备接口电连接。

进一步的，所述网络设备接口的内侧设置有原始套接字模块。

进一步的，所述数据过滤模块的底部设置有业务模块。