[发明专利]一种网络数据采集方法及系统

说明书

本发明涉及大数据技术领域。本发明公开了一种网络数据采集系统，该系统包括服务器，服务器包括：任务下发模块，用于创建用户信息获取任务，将用户信息获取任务分配至不同的任务池，计算任务池优先级，根据任务下发规则，得到并传输具有优先级参数的用户信息获取任务；数据解析模块，与任务下发模块数据连接，用于获取来自中间代理服务端的用户信息流量数据，数据解析模块构建报文解析神经网络模型，将待解析报文信息输入训练后报文解析神经网络模型，判断待解析报文信息中是否包括指定用户信息并提取。通过设置任务优先级，优先处理重要的任务，提高任务处理效率。本公开实施例还公开了一种网络数据采集方法。

技术领域

本发明涉及大数据技术领域，尤其涉及一种网络数据采集方法及系统。

背景技术

目前，移动终端已成为用户获取信息的一个主要平台，移动平台使用户更加容易地获取到各种信息，也使得用户对于有用信息的需求大大增加。为了更好地为用户提供信息与服务，移动应用开发商需要获取用户信息，分析用户行为和属性，根据用户的实际需求为用户提供个性化推荐。

现有技术中，通过对移动应用统计分析平台实时数据需求的分析，提取实时数据需求特点，明确系统设计要点；之后对各项技术及框架进行分析和研究，最终定位技术选型；通过对系统模块化的设计与实现，逐步发现系统缺陷并解决。该方法从实时系统的实时性、可靠性出发，结合实际企业案例移动应用分析平台的具体需求，决策系统流程架构，定位系统技术选型，实现系统架构。

在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：现有技术中获取用户信息的技术方案效率较低。

发明内容

本公开实施例提供了一种网络数据采集方法及系统，以解决现有技术中对于获取用户信息的技术方案效率较低的技术问题。

第一方面，提供了一种网络数据采集系统，该网络数据采集系统包括服务器，所述服务器包括：任务下发模块，用于创建用户信息获取任务，将所述用户信息获取任务分配至不同的任务池，计算任务池优先级，根据任务下发规则，得到并传输具有优先级参数的用户信息获取任务；数据解析模块，与所述任务下发模块数据连接，用于获取来自中间代理服务端的用户信息流量数据并将所述用户信息流量数据解析为待解析报文信息，所述数据解析模块构建报文解析神经网络模型，将所述待解析报文信息输入报文解析神经网络模型，判断所述待解析报文信息中是否包括指定用户信息并提取。

结合第一方面，在第一方面的第一种可能的实现方式中，所述任务下发模块，包括：任务管理部分，用于所述用户信息获取任务的创建和下发；任务空间部分，与所述数据解析模块和所述任务管理部分数据连接，所述任务空间部分包括至少一个任务池，所述任务空间部分用于计算任务池优先级、制定任务下发规则和对所述具有优先级参数的用户信息获取任务进行加密。

结合第一方面或者第一方面的第一种可能的实现方式，所述数据解析模块，包括：解析通信单元，用于获取并传输来自中间代理服务端的用户信息流量数据；过滤单元，与所述解析通信单元数据连接，用于接收并过滤所述用户信息流量数据，所述过滤单元传输过滤后用户信息流量数据；结构解析单元，与所述过滤单元数据连接，用于获取所述过滤后用户信息流量数据，所述结构解析单元将所述过滤后用户信息流量数据以报文格式树的形式设置，得到待解析报文信息；深度识别单元，与所述结构解析单元数据连接，所述深度识别单元用于构建报文解析神经网络模型，通过所述报文解析神经网络模型对所述待解析报文信息进行特征提取，判断所述待解析报文信息中是否包括指定用户信息并提取，传输提取的指定用户信息。

第二方面，还提供了一种网络数据采集系统，该网络数据采集系统包括移动终端，所述移动终端包括：应用控制模块，用于获取来自服务器的具有优先级参数的用户信息获取任务，根据所述具有优先级参数的用户信息获取任务，发送激活指令至中间代理服务端，获取来自所述中间代理服务端反馈的激活答复，在所述中间代理服务端激活成功后将所述具有优先级参数的用户信息获取任务发送至所述中间代理服务端。