[发明专利]流式数据分发方法和系统

说明书

本申请实施例提供了一种流式数据分发方法，所述方法包括：消费上游节点的待下发数据，所述待下发数据中封装有流标识和Protobuf序列化数据；解析所述待下发数据，以得到所述流标识和所述Protobuf序列化数据；根据所述流标识，确定目标Protobuf模型；基于所述目标Protobuf模型，将所述Protobuf序列化数据转换为Parquet数据；及将所述Parquet数据下发到下游节点。在本申请实施例中，通过Protobuf模型对数据进行强约束，以防止数据错位以及其导致的数据转换异常等问题；通过Protobuf格式实现嵌套数据的传输，通过将支持嵌套的Protobu格式转换为支持嵌套的Parquet格式，从而有效的实现了嵌套格式的数据的传输、读取和存储。

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种流式数据分发方法、系统、计算机设备及计算机可读存储介质。

背景技术

当前的流式数据传输系统一般由数据传输层(如网关)、数据缓存层、数据分发层(controller)和数据存储终端构成。当数据源有数据上报时，所述数据源会将上报数据经由数据传输层、所述数据缓存层、所述数据分发层最终流入到所述数据存储终端。

当前数据上报方式为：当上报数据有多个字段时，在不同字段之间插入分隔符然后进行数据上报。然而，上述上报方式会有以下问题：(1)当某个字段或分隔符丢失时，容易导致数据错位，从而导致数据转换异常等；(2)对嵌套格式的支持性较差。

发明内容

本申请实施例的目的是提供一种流式数据分发方法、系统、计算机设备及计算机可读存储介质，可以用于解决以下问题：(1)当某个字段或分隔符丢失时，容易导致数据错位，从而导致数据转换异常等；(2)对嵌套格式的支持性较差。

本申请实施例的一个方面提供了一种流式数据分发方法，所述方法包括：消费上游节点的待下发数据，所述待下发数据中封装有流标识和Protobuf序列化数据；解析所述待下发数据，以得到所述流标识和所述Protobuf序列化数据；根据所述流标识，确定目标Protobuf模型；基于所述目标Protobuf模型，将所述Protobuf序列化数据转换为Parquet数据；及将所述Parquet数据下发到下游节点。

可选的，各个数据流的Protobuf模型的可执行文件存储在本地缓存中；根据所述流标识，确定目标Protobuf模型，包括：根据所述流标识，从对象存储服务节点中检索与所述流标识对应的Protobuf模型；判断检索到的Protobuf模型的版本号是否高于本地缓存中相应可执行文件的Protobuf模型的版本号；若所述检索到的Protobuf模型的版本号高于所述本地缓存中相应可执行文件的Protobuf模型的版本号，则确定所述检索到的Protobuf模型为所述目标Protobuf模型，并下载所述检索到的Protobuf模型对应的可执行文件以加载到内存中；及若检索到的Protobuf模型的版本号不高于本地缓存中相应可执行文件的Protobuf模型的版本号，则确定本地缓存中相应可执行文件的Protobuf模型为所述目标Protobuf模型。

可选的，基于所述目标Protobuf模型，将所述Protobuf序列化数据转换为Parquet数据，包括：根据所述目标Protobuf模型的可执行文件，对所述Protobuf序列化数据进行反序列化以得到目标对象；从所述目标对象中提取所述多个字段，所述多个字段包括一个或多个嵌套字段；及将所述多个字段转换为扁平格式的Parquet数据。

可选的，还包括预先生成和存储各个数据流的Protobuf模型：通过用户界面接口，接收针对相应流标识的录入信息；根据所述录入信息，生成相应的Protobuf模型；对所述相应的Protobuf模型进行编译，以得到相应的可执行文件；将所述相应的Protobuf模型和所述相应的可执行文件存储到对象存储服务节点。