[发明专利]一种基于Spark的文件过滤方法及装置

权利要求书

1.一种基于Spark的文件过滤方法，其特征在于，包括：

根据目标过滤规则创建过滤器类；

在SparkSQL将parquet文件读取到内存之前，基于所述过滤器类对各个待读取的parquet文件进行过滤，得到目标parquet文件。

2.根据权利要求1所述的文件过滤方法，其特征在于，所述目标过滤规则为过滤错误文件的规则。

3.根据权利要求1所述的文件过滤方法，其特征在于，所述根据目标过滤规则创建过滤器类，包括：

对目标过滤规则进行解析，得到目标过滤文件属性和目标过滤范围；

根据所述目标过滤对象属性和所述目标过滤范围生成过滤器类。

4.根据权利要求1所述的文件过滤方法，其特征在于，所述目标过滤文件属性至少包括文件名称、文件大小、文件格式、文件存储数据和文件存储地址中的任意一项。

5.根据权利要求1所述的文件过滤方法，其特征在于，所述基于所述过滤器类对各个待读取的parquet文件进行过滤，得到目标parquet文件，包括：

依次判断每个待读取的parquet文件是否符合所述目标过滤规则；

将不符合所述目标过滤规则的所述待读取的parquet文件判定为目标parquet文件。

6.根据权利要求1所述的文件过滤方法，其特征在于，在得到目标parquet文件之后，所述方法还包括：

删除未通过所述过滤器类的parquet文件，或

将未通过所述过滤器类的parquet文件存储在预设存储空间。

7.根据权利要求1所述的文件过滤方法，其特征在于，在所述根据目标过滤规则创建过滤器类之前，所述方法还包括：

当接收到用户携带有过滤规则的更新指令时，删除当前过滤器类，并将所述过滤规则确定为所述目标过滤规则。

8.一种基于Spark的文件过滤装置，其特征在于，包括：

创建单元，用于根据目标过滤规则创建过滤器类；

过滤单元，用于在SparkSQL将parquet文件读取到内存之前，基于所述过滤器类对各个待读取的parquet文件进行过滤，得到目标parquet文件。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，

其中，在所述程序运行时控制所述存储介质所在的设备执行如权利要求1-7中任一项所述的基于Spark的文件过滤方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，

其中，所述程序运行时执行如权利要求1-7中任一项所述的基于Spark的文件过滤方法。