[发明专利]一种可变字段日志型数据的查询方法及系统

权利要求书

1.一种可变字段日志型数据的查询方法，应用于Hadoop系统，其特征在于，预先设置一采集服务器，连接所述Hadoop系统；

包括预先对可变字段日志型数据进行分区的过程，具体包括以下步骤：

步骤A1，所述采集服务器获取若干可变字段日志型数据，并将各所述可变字段日志型数据与预设规则库中包含的若干通用字段进行匹配，得到各所述可变字段日志型数据对应的所述通用字段；

步骤A2，所述采集服务器以所述通用字段作为第一层索引对各所述可变字段日志型数据进行第一层分区；

步骤A3，所述采集服务器获取所述第一层分区中的每个所述可变字段日志型数据的时间戳，并以所述时间戳作为第二层索引，根据预设时间粒度对每个所述第一层分区内的各所述可变字段日志型数据进行第二层分区；

步骤A4，所述采集服务器将分区完成的各所述可变字段日志型数据发送至所述Hadoop系统的分布式文件系统中进行保存；

还包括应用程序对所述可变字段日志型数据进行查询的过程，具体包括：

步骤S1，所述应用程序访问所述Hadoop系统的Hive接口，提交数据查询请求；

步骤S2，所述Hadoop系统中的Hadoop组件将所述数据查询请求转换为Mapreduce任务；

所述Mapreduce任务中包括需要查询的所述可变字段日志型数据的所述通用字段和所述时间戳；

步骤S3，所述Hadoop组件根据所述通用字段查询所述分布式文件系统，命中所述可变字段日志型数据所在的所述第一层分区，并根据所述时间戳查询所述第一层分区，命中所述可变字段日志型数据所在的所述第二层分区；

步骤S4，所述Hadoop组件于所述第二层分区中命中所述可变字段日志型数据并发送至所述应用程序。

2.根据权利要求1所述的可变字段日志型数据的查询方法，其特征在于，所述时间戳为生成记录时间戳。

3.根据权利要求1所述的可变字段日志型数据的查询方法，其特征在于，所述预设时间粒度为五分钟。

4.根据权利要求1所述的可变字段日志型数据的查询方法，其特征在于，所述可变字段日志型数据包括用户呼叫记录，和/或用户话单，和/或用户账务信息，和/或DPI解析数据。

5.根据权利要求1所述的可变字段日志型数据的查询方法，其特征在于，所述可变字段日志型数据包括不变的若干通用字段，以及位于所述通用字段之后的包含不同字段个数和不同字段含义的可变字段。