[发明专利]一种运营商数据处理方法、装置、服务器及存储介质

说明书

本发明实施例公开了一种运营商数据处理方法、装置、服务器及存储介质。该方法包括：通过FTP或SFTP协议链接数据源服务器，每隔一个周期获取不同设备厂商的不同数据文件，将文件按厂家分门别类写入到hdfs目录中；遍历当前周期的所有文件的存储大小，计算各个文件存储大小所有值的方差，判断所述方差是否大于预设阈值；若方差大于预设阈值，则按照入口的size大小分发，确保每个核处理差数据量一致；若方差小于等于预设阈值，则对所有文件本地解压解析；处理后的数据进行字段名称、字段单位、字段数值统一标准转换，转换完毕后入库hive表。本发明实施例的技术方案，通过对运营商数据进行接入、到达检测、处理分发、解压解析，提高数据处理的效率和准确性。

技术领域

本发明实施例涉及数据处理领域，尤其涉及一种运营商数据处理方法、装置、服务器及存储介质。

背景技术

目前，在运营商数据处理领域，设备商繁多，不同厂商不同数据文件的压缩、打包、文件格式标准不一致，存在以下痛点：a压缩标准：分别有gz zip tar.gz等；b打包标准：打包层级不固定，嵌套层级有1层到3层不等；c文件格式：有结构化的csv txt以及半结构化的xml；d文件大小：文件大小不均匀，一个文件从几M到几G不等，容易造成数据倾斜；e不同设备厂商上报字段名称不一致；f不同设备厂商上报字段单位格式不一致；g不同设备厂商上报字段含义不一致；h同步设备厂商数据到达延迟不一致；i数据源目录夹杂着异常数据文件。

因此，数据处理需要以下能力需求：a需支持压缩文件自适应识别解压；b需支持打包文件自适应识别递归解压；c需支持文件格式自适应识别解析；d需支持针对数据倾斜的性能优化；e需支持数据字段名称统一化，统一标准输出；f需支持字段内容单位格式归一化，统一标准输出；g需支持字段数值换算，统一标准输出；h需支持不同厂商数据到达检测并事件行驱动入库任务；i需支持无效文件过滤。

发明内容

本发明实施例提供一种运营商数据处理方法、装置、服务器及存储介质，以实现提高数据处理的效率和准确性。

第一方面，本发明实施例提供了一种运营商数据处理方法，包括：

通过FTP或SFTP协议链接数据源服务器，每隔一个周期获取不同设备厂商的不同数据文件，将文件按厂家分门别类写入到hdfs目录中；

遍历当前周期的所有文件的存储大小，计算各个文件存储大小所有值的方差，判断所述方差是否大于预设阈值；

若方差大于预设阈值，则按照入口的size大小分发，确保每个核处理差数据量一致；若方差小于等于预设阈值，则对所有文件本地解压解析；

处理后的数据进行字段名称、字段单位、字段数值统一标准转换，转换完毕后入库hive表。

可选的，在每隔一个周期获取不同设备厂商的不同数据文件之前，还包括：

根据周期性扫描获取到文件名信息与用户写的正则表达式进行匹配。

可选的，在遍历当前周期的所有文件的存储大小之前，还包括：

启动周期扫描任务扫描hdfs目录下的文件名，判别当前周期的数据是否存在，如果存在，再判别下个周期的数据是否存在，如果下个周期的数据已存在，则遍历当前周期的所有文件的存储大小。

可选的，所述对所有文件本地解压解析，包括：

判断文件压缩格式，匹配文件对应压缩格式的解压方法进行解压，判断解压后的文件格式是否为xml，若是，则执行下一步骤。

可选的，在判断解压后的文件格式是否为xml之后，还包括：

若否，则递归循环判断文件压缩格式，匹配文件对应压缩格式的解压方法进行解压两个步骤，直至文件解压到最后一层。

可选的，所述对所有文件本地解压解析，包括：