[发明专利]一种数据处理方法、装置及设备

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

将获取的流文件FlowFile中的元数据metadata拆分为一个或多个记录Record；

从所述一个或多个Record中获取待处理的Record，对所述待处理的Record进行处理，并将处理后的Record保存到所述FlowFile的metadata部分。

2.根据权利要求1所述的方法，其特征在于，将获取的FlowFile中的元数据拆分为一个或多个Record，包括：

根据元数据的数据类型，将获取的流文件FlowFile中的元数据metadata拆分为一个或多个Record。

3.根据权利要求2所述的方法，其特征在于，根据数据类型，将获取的FlowFile中的元数据metadata拆分为一个或多个Record，包括：

如果所述FlowFile中的metadata的数据类型包括：逗号分隔值csv文件和/或数据库数据，则所述FlowFile中的metadata按行拆分，一行metadata拆分为一个Record；

和/或，

如果所述FlowFile中的metadata的数据类型为流式数据，则所述FlowFile中的metadata按流式数据中的消息message拆分，一个message拆分为一个Record。

4.根据权利要求1所述的方法，其特征在于，所述Record的信息通过关键字-值key-value的方式存放在所述FlowFile的元数据部分。

5.根据权利要求1所述的方法，其特征在于，从所述一个或多个Record中获取待处理的Record，对所述待处理的Record进行处理，并将处理后的Record保存到所述FlowFile的metadata部分，包括：

从所述一个或多个Record中获取待过滤的Record，对所述待过滤的Record进行过滤处理，并将过滤处理得到的Record保存到所述FlowFile的metadata部分。

6.根据权利要求5所述的方法，其特征在于，从所述一个或多个Record中获取待处理的Record，对所述待处理的Record进行处理，并将处理后的Record保存到所述FlowFile的metadata部分，还包括：

从所述一个或多个Record中获取待转换的Record，对所述待转换的Record进行转换处理，并将转换处理得到的Record保存到所述FlowFile的metadata部分。

7.根据权利要求5或6所述的方法，其特征在于，从所述一个或多个Record中获取待处理的Record，对所述待处理的Record进行处理，并将处理后的Record保存到所述FlowFile的metadata部分，还包括：

从所述一个或多个Record中获取待计算的Record，对所述待计算的Record进行计算处理，并将计算处理得到的Record保存到所述FlowFile的metadata部分。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述FlowFile的metadata部分中的一个或多个Record存储到数据库中。

9.一种数据处理装置，其特征在于，所述装置包括：

第一处理模块，用于将获取的FlowFile中的metadata拆分为一个或多个Record；

第二处理模块，用于从所述一个或多个Record中获取待处理的Record，对所述待处理的Record进行处理，并将处理后的Record保存到所述FlowFile的metadata部分。

10.根据权利要求9所述的装置，其特征在于，所述第一处理模块包括：

记录生成单元，用于根据元数据的数据类型，将获取的FlowFile中的元数据metadata拆分为一个或多个记录Record。