[发明专利]流式数据分发方法和系统

权利要求书

1.一种流式数据分发方法，其特征在于，所述方法包括：

消费上游节点的待下发数据，所述待下发数据中封装有流标识和Protobuf序列化数据；

解析所述待下发数据，以得到所述流标识和所述Protobuf序列化数据；

根据所述流标识，确定目标Protobuf模型；

基于所述目标Protobuf模型，将所述Protobuf序列化数据转换为Parquet数据；及

将所述Parquet数据下发到下游节点。

2.根据权利要求1所述的流式数据传输方法，其特征在于，各个数据流的Protobuf模型的可执行文件存储在本地缓存中；根据所述流标识，确定目标Protobuf模型，包括：

根据所述流标识，从对象存储服务节点中检索与所述流标识对应的Protobuf模型；

判断检索到的Protobuf模型的版本号是否高于本地缓存中相应可执行文件的Protobuf模型的版本号；

若所述检索到的Protobuf模型的版本号高于所述本地缓存中相应可执行文件的Protobuf模型的版本号，则确定所述检索到的Protobuf模型为所述目标Protobuf模型，并下载所述检索到的Protobuf模型对应的可执行文件以加载到内存中；及

若检索到的Protobuf模型的版本号不高于本地缓存中相应可执行文件的Protobuf模型的版本号，则确定本地缓存中相应可执行文件的Protobuf模型为所述目标Protobuf模型。

3.根据权利要求2所述的流式数据传输方法，其特征在于，基于所述目标Protobuf模型，将所述Protobuf序列化数据转换为Parquet数据，包括：

根据所述目标Protobuf模型的可执行文件，对所述Protobuf序列化数据进行反序列化以得到目标对象；

从所述目标对象中提取所述多个字段，所述多个字段包括一个或多个嵌套字段；及

将所述多个字段转换为扁平格式的Parquet数据。

4.根据权利要求2所述的流式数据传输方法，其特征在于，还包括预先生成和存储各个数据流的Protobuf模型：

通过用户界面接口，接收针对相应流标识的录入信息；

根据所述录入信息，生成相应的Protobuf模型；

对所述相应的Protobuf模型进行编译，以得到相应的可执行文件；

将所述相应的Protobuf模型和所述相应的可执行文件存储到对象存储服务节点。

5.根据权利要求2至4任意一项所述的流式数据传输方法，其特征在于，还包括：

以预设时间间隔，检测所述对象存储服务节点中的各个数据流的Protobuf模型是否更新；及

若检测到其中一个Protobuf模型发生更新，则下载该发生更新的Protobuf模型对应的可执行文件，将所述发生更新的Protobuf模型对应的可执行文件加载到所述内存中。

6.根据权利要求2至4任意一项所述的流式数据传输方法，其特征在于，还包括：

当所述Parquet数据下发到所述下游节点之后，将所述Parquet数据的元数据信息写入到Hive Metastore中。

7.根据权利要求1至4任意一项所述的流式数据传输方法，其特征在于，所述Protobuf序列化数据为通过所述目标Protobuf模型进行序列化处理之后得到的数据。

8.一种流式数据分发系统，其特征在于，所述系统包括：

消费模块，用于消费上游节点的待下发数据，所述待下发数据中封装有流标识和Protobuf序列化数据；

解析模块，用于解析所述待下发数据，以得到所述流标识和所述Protobuf序列化数据；

确定模块，用于根据所述流标识，确定目标Protobuf模型；

转换模块，用于基于所述目标Protobuf模型，将所述Protobuf序列化数据转换为Parquet数据；及

下发模块，用于将所述Parquet数据下发到下游节点。