[发明专利]一种运营商数据处理方法、装置、服务器及存储介质

权利要求书

1.一种运营商数据处理方法，其特征在于，包括：

通过FTP或SFTP协议链接数据源服务器，每隔一个周期获取不同设备厂商的不同数据文件，将文件按厂家分门别类写入到hdfs目录中；

遍历当前周期的所有文件的存储大小，计算各个文件存储大小所有值的方差，判断所述方差是否大于预设阈值；

若方差大于预设阈值，则按照入口的size大小分发，确保每个核处理差数据量一致；若方差小于等于预设阈值，则对所有文件本地解压解析；

处理后的数据进行字段名称、字段单位、字段数值统一标准转换，转换完毕后入库hive表。

2.根据权利要求1所述的运营商数据处理方法，其特征在于，在每隔一个周期获取不同设备厂商的不同数据文件之前，还包括：

根据周期性扫描获取到文件名信息与用户写的正则表达式进行匹配。

3.根据权利要求1所述的运营商数据处理方法，其特征在于，在遍历当前周期的所有文件的存储大小之前，还包括：

启动周期扫描任务扫描hdfs目录下的文件名，判别当前周期的数据是否存在，如果存在，再判别下个周期的数据是否存在，如果下个周期的数据已存在，则遍历当前周期的所有文件的存储大小。

4.根据权利要求1所述的运营商数据处理方法，其特征在于，所述对所有文件本地解压解析，包括：

判断文件压缩格式，匹配文件对应压缩格式的解压方法进行解压，判断解压后的文件格式是否为xml，若是，则执行下一步骤。

5.根据权利要求4所述的运营商数据处理方法，其特征在于，在判断解压后的文件格式是否为xml之后，还包括：

若否，则递归循环判断文件压缩格式，匹配文件对应压缩格式的解压方法进行解压两个步骤，直至文件解压到最后一层。

6.根据权利要求1所述的运营商数据处理方法，其特征在于，所述对所有文件本地解压解析，包括：

获取解压后的数据流，判断文件格式，匹配文件对应格式进行文件解析，将解析的字段作为内存表进行存储。

7.根据权利要求1所述的运营商数据处理方法，其特征在于，所述转换完毕后入库hive表，包括：

转换完毕后入库到同一张hive表，不同厂商数据以不同分区作为区分。

8.一种运营商数据处理装置，其特征在于，包括：

接入单元，用于通过FTP或SFTP协议链接数据源服务器，每隔一个周期获取不同设备厂商的不同数据文件，将文件按厂家分门别类写入到hdfs目录中；

方差单元，用于遍历当前周期的所有文件的存储大小，计算各个文件存储大小所有值的方差，判断所述方差是否大于预设阈值；

处理单元，用于若方差大于预设阈值，则按照入口的size大小分发，确保每个核处理差数据量一致；若方差小于等于预设阈值，则对所有文件本地解压解析；

转换单元，用于处理后的数据进行字段名称、字段单位、字段数值统一标准转换，转换完毕后入库hive表。

9.一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现根据权利要求1-7中任一所述的运营商数据处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现根据权利要求1-7中任一所述的运营商数据处理方法。