[发明专利]文件采集方法及装置

权利要求书

1.一种文件采集方法，其特征在于，包括：

对获取到的数据源信息进行自定义处理，其中，数据源信息包括服务器IP地址、端口、用户、密码和传输模式；

根据对数据源信息的自定义处理结果制定用于采集多种类型的文件信息的文件采集规则；

根据所述文件采集规则采集待处理的文件信息；

所述文件采集规则包括：

远程目录，支持按每种文件配置相应的目录；

本地目录，支持按每种文件配置本地存储的目录；

文件名匹配正则：配置需要采集的文件名的正则表达式，一旦匹配上，则表示该文件符合采集要求；

多设备采集：配置网元变量，在采集时，逐个替换需要采集的网元设备的名称，实现一次采集多个设备的数据文件；

断点规则，用于记录每一次采集的时间点，并在下一个周期采集时，从当前时间点继续采集；

断点查询命令规则，用于查询最新需要采集的文件；

断点文件配置规则，用于配置断点文件存储的位置；

还包括：

根据文件采集规则判断是否对待处理的文件信息进行分流处理，若判断结果为是，则根据预设分流处理规则对待处理的文件信息进行分流处理；

根据文件采集规则中的本地目录信息判断是否对待处理的文件信息进行分流处理，若判断结果为是，则将采集到的文件案顺序平均分配到相应的目录中；

还包括：

根据配置规则对多种存储类型所对应的存储目录进行配置；

配置规则为：配置本地多个同级目录后，根据文件序号对文件进行取模，将文件平均分配到各个分流目录，以达到数据均衡；

将待处理的文件信息存储到配置后的存储目录中；

文件存入本地目录前，会先生成临时文件，存入临时目录，再进行下载，命名为正式文件；在文件存入本地目录后，根据文件大小判断是否需要进行压缩，如果进行了压缩工作，后续需要对该文件进行解压处理，在解压时，如果服务器性能较好，对文件进行批量解压，而如果服务器性能较差，则对文件进行逐个解压，以达到错峰效果，保证所有文件顺利完成解压。

2.如权利要求1所述的方法，其特征在于，还包括：

根据预设时间间隔对配置后的存储目录中的文件信息进行清理。