[发明专利]文件处理方法、装置及系统

权利要求书

1.一种文件处理方法，其特征在于，所述方法应用于分布式处理集群的处理节点，其中，所述方法包括：

获取待拆分文件，以及所述待拆分文件对应的拆分规则，其中，所述待拆分文件包含多个字段；

识别所述待拆分文件中的所述多个字段；

将所述多个字段与所述拆分规则进行匹配，确定所述多个字段中的拆分字段；

基于所述拆分字段对所述待拆分文件进行拆分，得到多个子文件。

2.根据权利要求1所述的方法，其特征在于，将所述多个字段与所述拆分规则进行匹配，确定所述多个字段中的拆分字段，包括：

基于所述拆分规则，生成正则表达式；

将所述多个字段与所述正则表达式进行匹配；

确定与所述正则表达式匹配成功的字段为所述拆分字段。

3.根据权利要求1所述的方法，其特征在于，在基于所述拆分字段对所述待拆分文件进行拆分，得到多个子文件之前，所述方法还包括：

获取数据校验规则，以及所述待拆分文件中所述拆分字段对应的数据；

基于所述数据校验规则，对所述拆分字段对应的数据进行校验；

如果校验成功，则基于所述拆分字段对所述待拆分文件进行拆分；

如果校验失败，则将所述拆分字段对应的数据存储至错误文件中。

4.根据权利要求3所述的方法，其特征在于，获取所述待拆分文件中所述拆分字段对应的数据包括：

逐行读取所述待拆分文件中的数据；

基于所述拆分字段对应的字段分隔符，确定所述拆分字段对应的数据。

5.根据权利要求3所述的方法，其特征在于，在基于所述拆分字段对所述待拆分文件进行拆分，得到多个子文件之后，所述方法还包括：

获取所述多个子文件的第一数据量，以及所述错误文件的第二数据量；

基于所述第一数据量和所述第二数据量，得到所述拆分字段对应的拆分比率；

基于所述拆分比率，确定目标拆分字段，其中，所述目标拆分字段用于下一次对所述待拆分文件进行拆分。

6.根据权利要求5所述的方法，其特征在于，在所述拆分字段为多个的情况下，基于多个拆分字段对所述待拆分文件进行拆分，确定每个拆分字段对应的拆分比率，并确定最高拆分比率对应的拆分字段为所述目标拆分字段。

7.一种文件处理装置，其特征在于，所述装置部署于分布式处理集群的处理节点中，其中，所述装置包括：

获取模块，用于获取待拆分文件，以及所述待拆分文件对应的拆分规则，其中，所述待拆分文件包含多个字段；

识别模块，用于识别所述待拆分文件中的所述多个字段；

匹配模块，用于将所述多个字段与所述拆分规则进行匹配，确定所述多个字段中的拆分字段；

拆分模块，用于基于所述拆分字段对所述待拆分文件进行拆分，得到多个子文件。

8.一种文件处理系统，其特征在于，包括：

数据库，用于存储待拆分文件对应的拆分规则，其中，所述待拆分文件包含多个字段；

分布式处理集群，与所述数据库连接，包括处理节点，所述分布式处理集群用于存储所述待拆分文件，所述处理节点用于识别所述待拆分文件中的所述多个字段，将所述多个字段与所述拆分规则进行匹配，确定所述多个字段中的拆分字段，并基于所述拆分字段对所述待拆分文件进行拆分，得到多个子文件。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至6中任意一项所述的文件处理方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至6中任意一项所述的文件处理方法。