[发明专利]一种数据处理的方法及装置

说明书

本发明提供了一种数据处理的方法及装置，涉及计算机技术领域，包括：flume接收原始数据，然后从预先配置的内容类型的描述信息中，确定与至少一个子数据中的各个子数据分别对应的内容类型的描述信息；并根据原始数据和与原始数据中各个子数据分别对应的内容类型的描述信息，生成第二数据结构的数据，由于在flume中预先配置了内容类型的描述信息，因此可以从预先设置的内容类型的描述信息中确定接收的原始数据中各个子数据所对应的内容类型的描述信息，因此相对于现有技术中当接收到的原始数据所对应的内容类型的描述信息发生改变时，需要重新配置额外的代码程序，来实现数据结构的转换相比，降低了数据结构转换的复杂性。

技术领域

本发明涉及计算机技术领域，特别涉及一种数据处理的方法及装置。

背景技术

flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输系统，如图1所示，flume接收业务应用系统发来的数据，转换接收到的数据的数据结构为kafka所支持的数据结构，然后向kafka发送转换数据结构的数据，而kafka中的数据也是通过flume发送到hdfs的，具体的flume将kafka中的数据的数据结构转换为hdfs的所支持的数据结构后，将转换后的数据结构的数据发送到hdfs，通常情况下，flume接收到的业务应用系统发来的数据是行数据，例如“王五wangwu@163.com”，而kafka所支持的数据结构为avro结构数据，如“name＝王五，email＝wangwu@163.com”，其中name为王五的内容类型描述信息，email为wangwu@163.com的内容类型描述信息。

现有技术中，当行数据为“王五wangwu@163.com”时，需要在flume中配置复杂的程序代码来实现将行数据“王五wangwu@163.com”转换为“name＝王五，email＝wangwu@163.com”，当行数据为“王五15”时，需要在flume中配置另外一组复杂的程序代码来实现将行数据“王五15”转换为“name＝王五，age＝15”。

因此现有技术中这种数据结构的转换方式较为复杂。

发明内容

本发明实施例提供了一种数据处理的方法及装置，用以降低现有技术中flume在不同数据结构相互转换时的复杂性。

本发明实施例提供了一种数据处理的方法，包括：

flume接收原始数据，其中，该原始数据为第一数据结构的数据，且该第一数据结构的数据中包括至少一个子数据；然后从预先配置的内容类型的描述信息中，确定与至少一个子数据中的各个子数据分别对应的内容类型的描述信息；并根据原始数据和与原始数据中各个子数据分别对应的内容类型的描述信息，生成第二数据结构的数据，第二数据结构的数据中包括至少一个子数据，以及与至少一个子数据中各个子数据分别对应的内容类型的描述信息。

在本发明实施例中，由于在flume中预先配置了内容类型的描述信息，因此可以从预先设置的内容类型的描述信息中确定接收的原始数据中各个子数据所对应的内容类型的描述信息，当预先配置的内容类型的描述信息中不存在与接收的原始数据中各个子数据所对应的内容类型的描述信息时，只需要在将这些内容类型的描述信息配置到flume中即可，无需再配置额外的代码程序，因此相对于现有技术中当接收到的原始数据所对应的内容类型的描述信息发生改变时，需要重新配置额外的代码程序，来实现数据结构的转换相比，降低了数据结构转换的复杂性。

可选的，flume通过与至少一个预先配置有内容类型的描述信息的拦截器分别对应的至少一个source中的第一source接收原始数据；然后根据与第一source对应的拦截器中预先配置的内容类型的描述信息，确定原始数据中各个子数据分别对应的内容类型的描述信息。

这种方式更便于flume从预先配置的内容类型的描述信息中确定原始数据中各个子数据分别对应的内容类型的描述信息。