[发明专利]通信大数据处理方法

说明书

技术领域

本发明涉具体涉及一种通信大数据处理方法。

背景技术

对于“大数据”研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产；麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征；大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”；从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术；随着云时代的来临，大数据也吸引了越来越多的关注。分析师团队认为，大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统；因此目前急需一种通信大数据处理方法以适应目前的需求。

发明内容

本发明的目的在于针对现有技术的不足，提供一种通信大数据处理方法，该通信大数据处理方法可以很好地解决上述问题。

为达到上述要求，本发明采取的技术方案是：提供一种通信大数据处理方法，该通信大数据处理方法包括如下步骤：

S1：上行数据处理模块处理终端上报数据，下行数据处理模块处理监控中心下发命令，双网卡之间通过缓存联系在一起；

S2：通信服务器从外网卡上接收一帧上行数据，写入上行数据缓存，经过线程处理，由内网卡发送到监控中心；

S3：从内网卡接收一帧下行数据，写入下行数据缓存，经过线程处理，由外网卡发送到终端，并根据各子系统采集到的多源数据获得真值系统的标准数据，并确定参数的动态赋值方法；

S4：在分布式系统基础架构hadoop外部环境，利用预先设置的拆分策略拆分hadoop总查询任务；

S5：按照拆分的hadoop查询任务，在hadoop的分布式存储系统中分别进行hadoop内部查询，；

S6：将各内部查询结果按照预先设置的存储策略存储在hadoop外部环境，并剔除所述各子系统采集到的数据集合中的异常数据，并进行历史数据的补偿；以及

S7：通过hadoop外部查询方式对存储信息进行统计并显示。

该通信大数据处理方法具有的优点如下：

(1)用于双向快速地接收、处理、转发数据，特别适合于多个终端、一个通信服务器、多个监控中心这样的三层结构。在实现中，读取数据库信息记录在内存中，以查询内存代替查询数据库，并且，在内存中记录信息时采用了HASH散列技术，极大地提高了查询速度。在原有通信服务器的基础上不增加任何硬件设备，仅通过软件实现方法的更新，就能大大提升处理性能，简化了系统结构、节省了系统成本。

(2)本发明提出一种实现大数据处理的方法，包括：在分布式系统基础架构hadoop外部环境，利用预先设置的拆分策略拆分hadoop总查询任务；按照拆分的hadoop查询任务，在hadoop的分布式存储系统中分别进行hadoop内部查询；将各内部查询结果按照预先设置的存储策略存储在hadoop外部环境；通过hadoop外部查询方式对存储信息进行统计并显示。通过本发明方法在hadoop外部环境对总查询任务进行拆分，在执行完拆分查询任务后，将内部查询结果按照任务拆分进行相应的分级存储，实现hadoop大数据访问的分页浏览和在不影响系统性能下进行数据统计。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示意性地示出了根据本申请一个实施例的通信大数据处理方法的流程图。