[发明专利]分布式文件转版与加工方法、系统及计算机可读存储介质

摘要

本发明提供一种分布式文件转版与加工方法，通过文件上传服务将待处理文件存储到存储库中，并生成转版队列、缩略图队列和抽取队列；通过一统一调度服务将每一队列的任务编号与该队列对应的服务个数进行取模，根据模值分配每一对应的服务的待执行任务；每一转版服务根据分配的任务批量提取进行转版，存入存储库，同时触发生成缩略图队列；每一缩略图服务分配的任务批量提取进行处理，存入存储库；每一内容抽取服务根据分配的任务批量提取进行处理，存入存储库，并触发生成索引队列；每一创建索引服务根据分配的任务批量提取进行操作，存入索引库。本发明还提供一种分布式文件转版与加工系统和一种计算机可读存储介质，提高批量文件转版加工效率。

主权项

一种分布式文件转版与加工方法，其特征在于：包括如下步骤：步骤1、通过至少一个文件上传服务将待处理文件存储到存储库中，并生成转版队列、缩略图队列和抽取队列；步骤2、通过一统一调度服务将每一队列的任务编号与该队列对应的服务个数进行取模，根据所述模值分配每一对应的服务的待执行任务；每一队列包括任务编号和任务时间，所述任务编号表示整数序列文件，所述任务时间表示任务执行的先后顺序；步骤3、通过复数个转版服务对文件进行转版操作，每一所述转版服务根据统一调度服务计算的模值以及转版队列的任务时间批量提取待转版任务进行转版，并将转版后的文件存入存储库中，同时触发生成缩略图队列；步骤4、通过复数个缩略图服务对文件进行缩略图处理，每一所述缩略图服务根据统一调度服务计算的模值以及缩略图队列的任务时间批量提取待缩略图任务进行处理，并将处理结果存入存储库中；步骤5、通过复数个内容抽取服务对文件进行抽取处理，每一所述内容抽取服务根据统一调度服务计算的模值以及抽取队列的任务时间批量提取抽取任务进行文件内容的抽取处理，并将处理后的内容存入存储库，并触发生成索引队列；步骤6、通过复数个创建索引服务对文件进行索引创建，每一所述创建索引服务根据统一调度服务计算的模值以及索引队列的任务时间批量提取索引任务进行创建索引操作，并将处理结果存入索引库；所述步骤3和步骤5不分先后进行；所述步骤4和步骤6不分先后进行。