[发明专利]一种日志数据处理方法及装置

说明书

本发明涉及金融科技技术领域，尤其涉及一种日志数据处理方法及装置，该方法应用于处理器集群中的任意一个处理器，包括：根据配置项将接收的日志数据分发到该处理器上的M个处理实例，其中配置项包括数据的重要等级、时延需求大小和处理实例的负载大小。针对任一处理实例：根据日志数据的数据属性将日志数据切分为N个日志数据表。根据预设配置表中对应指标的筛选公式，对日志数据表中的日志数据进行标记和分类，确定指标数据，包括日志数据的耗时信息、状态信息、子系统信息、主机地址信息、交易流水号中的至少一个，最后输出格式化数据，实现对日志数据的细粒度处理。

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及一种日志数据处理方法及装置。

背景技术

在对科技金融领域(FinTech)中的数据进行大数据分析时，往往需要先收集用户在大数据平台所使用的各种服务的日志记录。建立在微服务架构上的大数据平台，通常是由包含数量众多的服务器构成的集群组成的，微服务产生的日志记录存在集群中的服务器上。

目前，可以通过微服务日志收集系统，从各个服务器中收集日志记录，并展示给用户。具体的工作过程包括：首先，在需要收集日志记录的所有服务器上部署微服务日志收集系统，微服务日志收集系统用于对当前服务器进行监控并过滤收集日志记录；之后将过滤后的日志记录发送到Redis(数据库)再进行数据处理。但是，即使按照上述方法过滤后的日志文件仍可能包括不同类型的任务的数据，例如支付交易任务、转账业务等，数据过滤的粒度太粗，不利用后续的数据分析处理。

鉴于此，如何对日志记录中数据进行细粒度的分类处理成为一个亟待解决的技术问题。

发明内容

本发明实施例提供一种日志数据处理方法，用以对日志数据中的不同的业务的日志数据进行分类，从而得到不同业务类型对应的日志数据表，以及与日志数据表对应的指标数据，从而实现对日志数据进行细粒度处理。

第一方面，本发明实施例提供一种日志数据处理方法，该方法可以由日志数据处理装置执行，该装置可以集成在处理器集群中的任意一个处理器中，该方法包括：

日志数据处理装置根据配置项，将日志数据分发到M个处理实例，其中配置项包括可以数据的重要等级、数据的时延需求大小和处理实例的负载大小。进一步地，日志数据处理装置可以针对M个处理实例中的任意一个，执行如下处理：

根据处理实例中的日志数据的数据属性，将处理实例中的日志数据切分为N个日志数据表，根据预设配置表中对应每项指标的筛选公式，对N个日志数据表中的日志数据进行标记和分类，确定指标数据。其中指标数据用于反映日志数据表对应的耗时信息、状态信息、子系统信息、主机地址信息、交易流水号中的至少一个。

最终输出包括指标数据的格式化数据。

在一种可能的实施例中，日志数据处理装置根据预先设置好的配置项，比如可以根据日志数据对应的业务重要程度/业务类别/处理时延要求将日志数据分发到各个处理实例上，实现流量控制，保证在发生异常情况，比如日志数据量剧增的情况下，重要的日志数据处理不受影响。

进一步地，日志数据处理装置令各个处理实例对接收到的日志数据进行进一步处理：首先根据日志数据的数据属性，比如可以根据日志数据的业务类型，还可以根据各个处理实例的处理能力，将处理实例中的日志数据切分为N个日志数据表。通过上述处理，实现对日志数据根据业务类别进行区分、隔离缓存，方便后续处理，提高了处理效率。