[发明专利]通信大数据处理方法

权利要求书

1.一种通信大数据处理方法，其特征在于包括如下步骤：

S1：上行数据处理模块处理终端上报数据，下行数据处理模块处理监控中心下发命令，双网卡之间通过缓存联系在一起；

S2：通信服务器从外网卡上接收一帧上行数据，写入上行数据缓存，经过线程处理，由内网卡发送到监控中心；

S3：从内网卡接收一帧下行数据，写入下行数据缓存，经过线程处理，由外网卡发送到终端，并根据各子系统采集到的多源数据获得真值系统的标准数据，并确定参数的动态赋值方法；

S4：在分布式系统基础架构hadoop外部环境，利用预先设置的拆分策略拆分hadoop总查询任务；

S5：按照拆分的hadoop查询任务，在hadoop的分布式存储系统中分别进行hadoop内部查询，；

S6：将各内部查询结果按照预先设置的存储策略存储在hadoop外部环境，并剔除所述各子系统采集到的数据集合中的异常数据，并进行历史数据的补偿；以及

S7：通过hadoop外部查询方式对存储信息进行统计并显示。

2.根据权利要求1所述的通信大数据处理方法，其特征在于：所述上行数据缓存根据实际并发数据量生成适当个数，下行数据量缓存只生成一个，每个缓存用一个线程来处理；通信服务器程序启动时，读取数据库信息到内存中，然后使用被动更新或主动更新方法来获取数据库中变化的数据，在处理数据时，所需信息均从内存中查询。