[发明专利]一种日志数据处理方法及装置

权利要求书

1.一种日志数据处理方法，其特征在于，所述方法应用于处理器集群中的任意一个处理器，所述方法包括：

根据配置项，将接收到的日志数据分发到所述处理器的M个处理实例，所述配置项包括数据的重要等级、数据的时延需求大小和处理实例的负载大小；

针对所述M个处理实例中的任意一个处理实例，执行如下处理：

根据所述处理实例中的日志数据的数据属性，将所述处理实例中的日志数据切分为N个日志数据表，其中M和N为正整数；

根据预设配置表中对应每项指标的筛选公式，对所述N个日志数据表中的日志数据进行标记和分类，确定指标数据，所述指标数据用于反映所述日志数据表对应的耗时信息、状态信息、子系统信息、主机地址信息、交易流水号中的至少一个；

输出包括所述指标数据的格式化数据。

2.根据权利要求1所述的方法，其特征在于，同一日志数据表中的数据满足业务类型相同、所属子系统信息相同、所属主机地址相同中的至少一个；

将所述处理实例中的日志数据切分为N个日志数据表之后，还包括：

针对每个日志数据表，根据所属子系统信息的名称、用户配置的日志唯一标识和所属主机地址，对所述日志数据表进行组合命名；其中，所述日志数据表的列名为每列数据对应的字段名称。

3.根据权利要求1所述的方法，其特征在于，所述将所述处理实例中的日志数据切分为N个日志数据表，包括：

根据所述处理实例的处理能力以及所述处理实例的资源占用状态，确定每个日志数据表的最大数据量；

根据所述每个日志数据表的最大数据量，将所述处理实例中的日志数据切分为N个日志数据表。

4.根据权利要求1所述的方法，其特征在于，根据预设配置表中对应每项指标的筛选公式，对所述N个日志数据表中的日志数据进行标记和分类，确定指标数据，包括：

根据预设配置表中的返回码、交易量和/或耗时三类指标的筛选公式，通过sql查询的方式，批量对所述N个日志数据表中的日志数据进行标记，并按照每个指标的不同属性对标记后的日志数据分类处理，确定所述指标数据。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述输出包括所述指标数据的格式化数据，包括：

根据所述预设配置表中的指标名称、以及所述日志数据表的命名信息和所述指标数据，转换成json格式化数据后并输出。

6.根据权利要求1至4任一项所述的方法，其特征在于，对所述预设配置表进行周期性更新，其中，更新后的预设配置表和更新之前的预设配置表并存。

7.一种日志数据处理装置，其特征在于，所述日志数据处理装置位于处理器集群中的任意一个处理器，包括：

分发单元，用于根据配置项，将接收到的日志数据分发到所述处理器的M个处理实例，所述配置项包括数据的重要等级、数据的时延需求大小和处理实例的负载大小；

处理单元，用于针对所述M个处理实例中的任意一个处理实例，执行如下处理：

根据所述处理实例中的日志数据的数据属性，将所述处理实例中的日志数据切分为N个日志数据表，其中M和N为正整数；

根据预设配置表中对应每项指标的筛选公式，对所述N个日志数据表中的日志数据进行标记和分类，确定指标数据，所述指标数据用于反映所述日志数据表对应的耗时信息、状态信息、子系统信息、主机地址信息、交易流水号中的至少一个；

输出单元，用于输出包括所述指标数据的格式化数据。

8.一种计算设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行权利要求1至6任一项所述的方法。

9.一种计算机可读非易失性存储介质，其特征在于，包括计算机可读程序，当计算机读取并执行所述计算机可读程序时，使得计算机执行如权利要求1至6任一项所述的方法。