[发明专利]一种网络数据采集方法及系统

权利要求书

1.一种网络数据采集系统，其特征在于，包括服务器，所述服务器包括：

任务下发模块，用于创建用户信息获取任务，将所述用户信息获取任务分配至不同的任务池，计算任务池优先级，根据任务下发规则，得到并传输具有优先级参数的用户信息获取任务，其中，通过如下公式计算任务池优先级：

其中，Pri_i表示任务类别i的优先级参数，L表示任务类别i中共有L个任务，taskl_l表示任务类别i中第l个任务的创建顺序衡量值，ntask_l表示第l个任务相同内容发布过的次数，a，c均为常数值，由系统随机分配，a，c∈[0，1]，b_t-1表示时隙标识符，用于表示不同时间段之间的影响，b_t＝(a*b_t-1)modc，taskp_i表示任务类别i的映射值，用于区分不同任务池，任务池中任务越多映射值越大，表示向下取整，n_CI表示指示符补充值，用于在不同任务池对取余运算时，对进行补充，避免不同任务池的优先级相差过大，mod为取余运算；

数据解析模块，与所述任务下发模块数据连接，用于获取来自中间代理服务端的用户信息流量数据并将所述用户信息流量数据解析为待解析报文信息，所述数据解析模块构建报文解析神经网络模型，将所述待解析报文信息输入报文解析神经网络模型，判断所述待解析报文信息中是否包括指定用户信息并提取。

2.根据权利要求1所述的网络数据采集系统，其特征在于，所述任务下发模块，包括：

任务管理部分，用于所述用户信息获取任务的创建和下发；

任务空间部分，与所述数据解析模块和所述任务管理部分数据连接，所述任务空间部分包括至少一个任务池，所述任务空间部分用于计算任务池优先级、制定任务下发规则和对所述具有优先级参数的用户信息获取任务进行加密。

3.根据权利要求1或2所述的网络数据采集系统，其特征在于，所述数据解析模块，包括：

解析通信单元，用于获取并传输来自中间代理服务端的用户信息流量数据；

过滤单元，与所述解析通信单元数据连接，用于接收并过滤所述用户信息流量数据，所述过滤单元还用于传输过滤后用户信息流量数据；

结构解析单元，与所述过滤单元数据连接，用于获取所述过滤后用户信息流量数据，所述结构解析单元将所述过滤后用户信息流量数据以报文格式树的形式设置，得到待解析报文信息；

深度识别单元，与所述结构解析单元数据连接，所述深度识别单元用于构建报文解析神经网络模型，通过所述报文解析神经网络模型对所述待解析报文信息进行特征提取，判断所述待解析报文信息中是否包括指定用户信息并提取，传输提取的指定用户信息。

4.一种网络数据采集系统，其特征在于，包括移动终端，所述移动终端包括：

应用控制模块，用于获取来自服务器的具有优先级参数的用户信息获取任务，根据所述具有优先级参数的用户信息获取任务，发送激活指令至中间代理服务端，获取来自所述中间代理服务端反馈的激活答复，在所述中间代理服务端激活成功后将所述具有优先级参数的用户信息获取任务发送至所述中间代理服务端，其中，通过如下公式计算优先级参数：

其中，Pri_i表示任务类别i的优先级参数，L表示任务类别i中共有L个任务，taskl_l表示任务类别i中第l个任务的创建顺序衡量值，ntask_l表示第l个任务相同内容发布过的次数，a，c均为常数值，由系统随机分配，a，c∈[0，1]，b_t-1表示时隙标识符，用于表示不同时间段之间的影响，b_t＝(a*b_t-1)modc，taskp_i表示任务类别i的映射值，用于区分不同任务池，任务池中任务越多映射值越大，表示向下取整，n_CI表示指示符补充值，用于在不同任务池对取余运算时，对进行补充，避免不同任务池的优先级相差过大，mod为取余运算。