[发明专利]一种实现上网流量记录预处理的方法及装置

说明书

本发明公开了一种实现上网流量记录预处理的方法及装置，包括：按照预设周期，计算各省预设时长内预设周期的平均话单数；从未被分配的各省的话单中，逐一选择平均话单数最大的省的平均话单数个话单分配给未被分配话单的预处理服务器；预处理服务器均被分配话单时，从未被分配的各省的话单中分配平均话单数最大的省的平均话单数个话单到被分配话单最少的预处理服务器；以分配至各预处理服务器的话单总数作为话单数集合确定是否微调分配到各预处理服务器中的话单，话单分配完成后，进行上网流量记录的预处理。本发明方法将各省的话单尽量分配在同一预处理服务器，提高了预处理的工作效率，以话单数集合确定是否进行话单微调，实现了系统的负载均衡。

技术领域

本发明涉及大数据领域，尤指一种实现上网流量记录预处理的方法及装置。

背景技术

运营商采集了移动用户的上网流量记录用于流量精细化经营，将用户的上网流量记录信息进行抽取、合并后放入后端的数据库进行处理，可以分析运营商的基站运行情况，也为新的基站规划、建设提供数据支持。

原始的上网记录是很细粒度的，平均一个用户一天的上网记录有一千条的话，1亿用户一天的记录量超过一千亿条，传统的数据库无法处理这么大量的数据，由于分析基站运行情况不需要细粒度的数据，且存储大量数据需要耗费较多的资源，增加了运营成本。因此，运营商对原始的上网记录进行预处理：将流量记录按照某种规则进行合并以减少数据量。例如、可以将一定时长内的流量记录按照保留基站号、时间、上网流量和上网时长的情况下，对同一基站预设时长内(例如、一个小时)的上网流量和上网时长分别进行累加，记录数为汇总的记录条数。表1为原始的用户上网记录；表2是预处理后用户上网记录。其中，表1中的第1、第3和第4条记录被合并为表2中的第1条记录。

表1

表2

对原始的用户上网流量记录进行预处理时，各省分别包含有若干采集机，一台采集机采集几个地市的上网流量记录，或一个地市由几台采集机进行上网流量记录的采集(取决于用户规模和用户上网流量使用情况)；各省分将采集的原始的上网流量记录上传到同一预处理平台后，由预处理平台分配到系统内的各个预处理服务器中，对原始上网流量记录的预处理；具体包括以下两种方式进行原始上网流量记录的预处理。方法1、根据系统内各个预处理服务器的负载情况，按照预先设定的周期(一般1分钟～10分钟左右)将采集机采集的原始上网流量记录分配到负载较少的预处理服务器中，实现预处理平台的负载均衡。方法2、预先指定各个省分采集机采集的原始上网流量记录分配到相应的预处理服务器中进行预处理。

根据预处理服务器的负载情况分配原始上网流量记录虽然可以保持预处理平台的负载均衡；但是，将各省分的原始上网流量记录根据预处理服务器的负载情况分配到各个预处理服务器处理时，多个预处理服务器将分别对同一基站生成相应的合并后的上网流量记录，例如，第一时刻省分1的采集机上传原始上网流量记录到预处理平台后，系统判断将第一时刻省分1上传的原始上网流量记录分配给被确定为负载较少预处理服务器1进行合并，生成省分1的合并后的上网流量记录1；第二时刻省分1上传原始上网流量记录到预处理平台后，系统判断将第二时刻省分1原始上网流量记录分配给被确定为负载较少预处理服务器2进行合并，生成省分1的合并后的上网流量记录2；以将一定时长内的流量记录按照保留基站号、时间、上网流量和上网时长的情况下，对同一基站一个小时内的上网流量和上网时长分别进行累加，记录数为汇总的记录条数的合并方法为例；如果第一时刻和第二时刻在同一个小时内，则同一小时内，省分1的原始上网流量记录被分配到多少预处理服务器，将生成多份合并后的上网流量记录，预处理效率低。如果进行进一步整合过程，需要预处理服务器之间进行较大的数据传输，且增加预处理平台的工作量，降低预处理平台的工作效率。预先指定各个省分采集机采集的原始上网流量记录分配相应的预处理服务器进行预处理，虽然可以保证预处理效率，但是各省分的原始上网流量记录数量不同且在不断变化，采用固定分配的方式容易造成部分预处理服务器空闲，部分预处理服务器无法完成预处理的工作，各个预处理服务器负载不均衡。