[发明专利]业务数据流的解析方法及其装置

说明书

本申请提出了一种业务数据流的解析方法及其装置，该方法包括：获取待解析的业务数据流，以及对应的逻辑数据流。对逻辑数据流进行解析，以确定待解析的业务数据流对应的第一解析逻辑。使用第一解析逻辑对待解析的业务数据流进行解析，以生成第一解析结果。由此，实现了根据逻辑数据流，确定业务数据流对应的第一解析逻辑，来对业务数据流进行解析，从而能够对不同的业务数据流采用不同的第一解析逻辑进行解析，能够灵活地实时更新解析程序的解析逻辑，减少解析程序重启更新的次数。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种业务数据流的解析方法及其装置。

背景技术

业务系统在运行过程中，通过日志来记录业务系统的工作记录，对业务系统的日志进行实时地采集和解析，能够及时发现业务系统存在的问题，并进行及时处理，目前通常采用分布式的架构和实时计算框架(比如Flink处理框架、Spark计算平台)，来完成日志的采集和解析。

对于不同的业务需求，同一份日志数据需要以不同的格式进行存储，相应地需要使用不同的解析程序对日志进行解析，对于解析程序的开发和维护需要消耗人力和时间。

相关技术中，通过采用改变配置文件的方式来更新解析相关的配置，进而更新解析程序，避免了对解析程序的重复开发，减少了解析程序维护成本。但是，在分布式架构中，配置文件的存放和更新无法满足使用需求。

发明内容

本申请实施例提供了一种业务数据流的解析方法及其装置，通过对逻辑数据流进行解析，来确定业务数据流对应的第一解析逻辑，从而能够实时地更新解析程序的解析逻辑，减少解析程序重启更新的次数。

第一方面，本申请实施例提供了一种业务数据流的解析方法，包括以下步骤：获取待解析的业务数据流，以及对应的逻辑数据流；对所述逻辑数据流进行解析，以确定所述待解析的业务数据流对应的第一解析逻辑；以及使用所述第一解析逻辑对所述待解析的业务数据流进行解析，以生成第一解析结果。

和现有技术相比，本申请实现了根据逻辑数据流，确定业务数据流对应的第一解析逻辑，来对业务数据流进行解析，从而能够对不同的业务数据流采用不同的第一解析逻辑进行解析，能够灵活地实时更新解析程序的解析逻辑，减少解析程序重启更新的次数。

可选地，在所述获取待解析的业务数据流之前，还包括：将所述第一解析逻辑注入所述逻辑数据流中。

可选地，所述对所述逻辑数据流进行解析，以确定所述待解析的业务数据流对应的第一解析逻辑，包括：对所述逻辑数据流进行解析，以生成所述第一解析逻辑的解析算子。

可选地，所述使用所述第一解析逻辑对所述待解析的业务数据流进行解析，以生成第一解析结果，包括：使用所述解析算子对所述待解析的业务数据流进行解析，以生成所述第一解析结果。

可选地，在所述使用所述第一解析逻辑对所述待解析的业务数据流进行解析，以生成第一解析结果之后，还包括：从所述逻辑数据流中确定所述第一解析结果对应的第二解析逻辑；使用所述第二解析逻辑对所述第一解析结果进行解析，以生成第二解析结果。

第二方面，本申请实施例还提供了一种业务数据流的解析装置，包括：获取模块，用于获取待解析的业务数据流，以及对应的逻辑数据流；第一解析模块，用于对所述逻辑数据流进行解析，以确定所述待解析的业务数据流对应的第一解析逻辑；以及第二解析模块，用于使用所述第一解析逻辑对所述待解析的业务数据流进行解析，以生成第一解析结果。

可选地，所述装置还包括：注入模块，用于将所述第一解析逻辑注入所述逻辑数据流中。

可选地，所述第一解析模块，具体用于对所述逻辑数据流进行解析，以生成所述第一解析逻辑的解析算子。

可选地，所述第二解析模块，具体用于使用所述解析算子对所述待解析的业务数据流进行解析，以生成所述第一解析结果。