[发明专利]分布式文件转版与加工方法、系统及计算机可读存储介质

说明书

本发明提供一种分布式文件转版与加工方法，通过文件上传服务将待处理文件存储到存储库中，并生成转版队列、缩略图队列和抽取队列；通过一统一调度服务将每一队列的任务编号与该队列对应的服务个数进行取模，根据模值分配每一对应的服务的待执行任务；每一转版服务根据分配的任务批量提取进行转版，存入存储库，同时触发生成缩略图队列；每一缩略图服务分配的任务批量提取进行处理，存入存储库；每一内容抽取服务根据分配的任务批量提取进行处理，存入存储库，并触发生成索引队列；每一创建索引服务根据分配的任务批量提取进行操作，存入索引库。本发明还提供一种分布式文件转版与加工系统和一种计算机可读存储介质，提高批量文件转版加工效率。

技术领域

本发明涉及一种文件转版与加工技术，尤其涉及一种分布式文件转版与加工方法、系统及计算机可读存储介质。

背景技术

PDF(Portable Document Format的简称，意为“便携式文档格式”)一种与操作系统平台无关的文件格式，也就是说，PDF文件不管是在Windows，Unix还是在苹果公司的MacOS操作系统中都是通用的。这一特点使它成为在Internet上进行电子文档发行和数字化信息传播的理想文档格式。因此，越来越多的电子图书、产品说明、公司文告、网络资料、电子邮件在开始使用PDF格式文件，PDF格式文件也被作为归档和保存文件的国际标准格式，支持永久长期保存，目前支持永久长期保存的格式还有OFD。

在对待存储文件进行格式转换时，需要进行文件转版和内容加工，现有的文件转版和内容加工服务都是基于特定的软件及操作系统进行开发的，对文件格式转换和内容加工效率较低，特别是在对大批量的电子文件进行格式转换与内容加工时，只能依次对每一个文件进行加工，不能实现并行转版和内容加工的需求，无法实现整体流水线作业。

发明内容

本发明要解决的技术问题之一，在于提供一种分布式文件转版与加工方法，提高批量文件转版与内容加工的效率。

本发明要解决的技术问题之一是这样实现的：一种分布式文件转版与加工方法，包括如下步骤：

步骤1、通过至少一个文件上传服务将待处理文件存储到存储库中，并生成转版队列、缩略图队列和抽取队列；

步骤2、通过一统一调度服务将每一队列的任务编号与该队列对应的服务个数进行取模，根据所述模值分配每一对应的服务的待执行任务；每一队列包括任务编号和任务时间，所述任务编号表示整数序列文件，所述任务时间表示任务执行的先后顺序；

步骤3、通过复数个转版服务对文件进行转版操作，每一所述转版服务根据统一调度服务计算的模值以及转版队列的任务时间批量提取待转版任务进行转版，并将转版后的文件存入存储库中，同时触发生成缩略图队列；

步骤4、通过复数个缩略图服务对文件进行缩略图处理，每一所述缩略图服务根据统一调度服务计算的模值以及缩略图队列的任务时间批量提取待缩略图任务进行处理，并将处理结果存入存储库中；

步骤5、通过复数个内容抽取服务对文件进行抽取处理，每一所述内容抽取服务根据统一调度服务计算的模值以及抽取队列的任务时间批量提取抽取任务进行文件内容的抽取处理，并将处理后的内容存入存储库，并触发生成索引队列；

步骤6、通过复数个创建索引服务对文件进行索引创建，每一所述创建索引服务根据统一调度服务计算的模值以及索引队列的任务时间批量提取索引任务进行创建索引操作，并将处理结果存入索引库；

所述步骤3和步骤5不分先后进行；所述步骤4和步骤6不分先后进行。

进一步的，所述步骤2中的队列包括转版队列、缩略图队列、抽取队列和索引队列，且所述转版队列、缩略图队列、抽取队列和索引队列对应的服务依次为转版服务、缩略图服务、内容抽取服务和创建索引服务。

进一步的，所述转版服务、缩略图服务、内容抽取服务和创建索引服务分别以组件形式存在，其个数根据需要进行增减。