[发明专利]基于大数据的文件处理方法和装置

说明书

本发明公开了一种基于大数据的文件处理方法和装置，涉及计算机技术领域。该基于大数据的文件处理方法的一具体实施方式包括：从用于定义文件处理所需参数的文件处理模型中，解析出数据处理参数以及文件参数；所述文件参数是与输入文件和输出文件有关的参数；根据所述数据处理参数调用相应的处理器，对所述文件参数的输入文件进行数据处理，并将处理所得的结果写入所述输出文件中。该实施方式可以基于大数据对文件处理能力进行封装，还可以将应用和技术进行隔离，应用开发人员不需要掌握具体的大数据开发技术和工具，就可以对大数据技术进行开发和实施。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于大数据的文件处理方法和装置。

背景技术

由于现有文件处理方式具有业务和技术高度耦合的特点，文件处理过程需要定制化开发，且要求开发人员掌握某种大数据技术。如果技术迭代更新会导致很难进行迁移和升级。

发明内容

有鉴于此，本发明实施例提供一种基于大数据的文件处理方法和装置，能够解决现有文件处理方式的业务和技术高度耦合问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种基于大数据的文件处理方法。

本发明实施例的基于大数据的文件处理方法包括：

从用于定义文件处理所需参数的文件处理模型中，解析出数据处理参数以及文件参数；所述文件参数是与输入文件和输出文件有关的参数；

根据所述数据处理参数调用相应的处理器，对所述文件参数的输入文件进行数据处理，并将处理所得的结果写入所述输出文件中。

可选地，在从用于定义文件处理所需参数的文件处理模型中，解析出数据处理参数以及文件参数的步骤之后，所述方法还包括：

通过文件代理方式对输入文件和输出文件的元数据进行管理，并确定将输出文件分流至分布式文件集群的分流路径；

在根据所述数据处理参数调用相应的处理器，对所述文件参数的输入文件进行数据处理，并将处理所得的结果写入所述输出文件中的步骤之后，所述方法还包括：

将所述输出文件根据所述分流路径分流至对应的分布式文件集群上。

可选地，从用于定义文件处理所需参数的文件处理模型中，解析出数据处理参数以及文件参数的步骤之后，所述方法还包括：

当进行文件访问时，查询所述文件的索引信息；其中所述文件可以为输入文件或输出文件；

若索引信息存在，则返回所述文件的真实路径；

若索引信息不存在，则生成所述文件的物理路径。

可选地，查询文件索引信息包括：

根据批次号码ID、分行以及关键值KE7，查询文件索引信息；

生成所述文件的物理路径包括：

根据分行从文件根路径映射规则中获取文件根目录，根据目录拆分规则生成所述文件的物理路径。

可选地，所述文件代理方式支持以下一项或多项：本地单路径、本地随机分片路径、开源数据库、分布式文件系统、日志型数据库和分布式文档存储数据库。

可选地，所述文件处理模型包括：输入文件清单、输出文件清单以及操作集，所述操作集是指至少一个操作符所形成的集合。

可选地，所述操作集至少包括一项或多项操作符：关联、聚合、求和以及程序处理。

可选地，所述数据处理参数至少包括：数据分片规则以及操作符；