[发明专利]分布式文件转版与加工方法、系统及计算机可读存储介质有效
申请号: | 201711159328.8 | 申请日: | 2017-11-20 |
公开(公告)号: | CN107798132B | 公开(公告)日: | 2021-06-29 |
发明(设计)人: | 杨迪;徐建兵;倪时龙;林振天;陈又咏;黄敬林 | 申请(专利权)人: | 福建亿榕信息技术有限公司;国家电网公司;国网上海市电力公司;国网信息通信产业集团有限公司;国网信通亿力科技有限责任公司 |
主分类号: | G06F16/182 | 分类号: | G06F16/182;G06F16/178;G06F16/16;G06F16/13 |
代理公司: | 福州市鼓楼区京华专利事务所(普通合伙) 35212 | 代理人: | 林晓琴 |
地址: | 350000 福建省福*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 文件 加工 方法 系统 计算机 可读 存储 介质 | ||
1.一种分布式文件转版与加工方法,其特征在于:包括如下步骤:
步骤1、通过至少一个文件上传服务将待处理文件存储到存储库中,并生成转版队列、缩略图队列、抽取队列和索引队列;
步骤2、通过一统一调度服务将每一队列的每一任务编号与该队列对应的服务个数进行取模,根据所述模值分配每一对应的服务的待执行任务;每一队列的每一任务包括任务编号和任务时间,所述任务编号表示整数序列文件,所述任务时间表示任务执行的先后顺序;
步骤3、通过复数个转版服务对文件进行转版操作,每一所述转版服务根据统一调度服务计算的模值以及转版队列的任务时间批量提取待转版任务进行转版,并将转版后的文件存入存储库中,同时触发更新缩略图队列;
步骤4、通过复数个缩略图服务对文件进行缩略图处理,每一所述缩略图服务根据统一调度服务计算的模值以及缩略图队列的任务时间批量提取待缩略图任务进行处理,并将处理结果存入存储库中;
步骤5、通过复数个内容抽取服务对文件进行抽取处理,每一所述内容抽取服务根据统一调度服务计算的模值以及抽取队列的任务时间批量提取抽取任务进行文件内容的抽取处理,并将处理后的内容存入存储库,并触发更新索引队列;
步骤6、通过复数个创建索引服务对文件进行索引创建,每一所述创建索引服务根据统一调度服务计算的模值以及索引队列的任务时间批量提取索引任务进行创建索引操作,并将处理结果存入索引库;
所述步骤3和步骤5不分先后进行;所述步骤4和步骤6不分先后进行。
2.根据权利要求1所述的分布式文件转版与加工方法,其特征在于:所述步骤2中的队列包括转版队列、缩略图队列、抽取队列和索引队列,且所述转版队列、缩略图队列、抽取队列和索引队列对应的服务依次为转版服务、缩略图服务、内容抽取服务和创建索引服务。
3.根据权利要求1所述的分布式文件转版与加工方法,其特征在于:所述转版服务、缩略图服务、内容抽取服务和创建索引服务分别以组件形式存在,其个数根据需要进行增减。
4.根据权利要求1所述的分布式文件转版与加工方法,其特征在于:用户通过修改队列中的任务时间对个别文件处理顺序进行调整。
5.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现以下步骤:
步骤1、通过至少一个文件上传服务将待处理文件存储到存储库中,并生成转版队列、缩略图队列、抽取队列和索引队列;
步骤2、通过一统一调度服务将每一队列的每一任务编号与该队列对应的服务个数进行取模,根据所述模值分配每一对应的服务的待执行任务;每一队列的每一任务包括任务编号和任务时间,所述任务编号表示整数序列文件,所述任务时间表示任务执行的先后顺序;
步骤3、通过复数个转版服务对文件进行转版操作,每一所述转版服务根据统一调度服务计算的模值以及转版队列的任务时间批量提取待转版任务进行转版,并将转版后的文件存入存储库中,同时触发更新缩略图队列;
步骤4、通过复数个缩略图服务对文件进行缩略图处理,每一所述缩略图服务根据统一调度服务计算的模值以及缩略图队列的任务时间批量提取待缩略图任务进行处理,并将处理结果存入存储库中;
步骤5、通过复数个内容抽取服务对文件进行抽取处理,每一所述内容抽取服务根据统一调度服务计算的模值以及抽取队列的任务时间批量提取抽取任务进行文件内容的抽取处理,并将处理后的内容存入存储库,并触发更新索引队列;
步骤6、通过复数个创建索引服务对文件进行索引创建,每一所述创建索引服务根据统一调度服务计算的模值以及索引队列的任务时间批量提取索引任务进行创建索引操作,并将处理结果存入索引库;
所述步骤3和步骤5不分先后进行;所述步骤4和步骤6不分先后进行。
6.根据权利要求5所述的一种计算机可读存储介质,其特征在于:所述步骤2中的队列包括转版队列、缩略图队列、抽取队列和索引队列,且所述转版队列、缩略图队列、抽取队列和索引队列对应的服务依次为转版服务、缩略图服务、内容抽取服务和创建索引服务。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于福建亿榕信息技术有限公司;国家电网公司;国网上海市电力公司;国网信息通信产业集团有限公司;国网信通亿力科技有限责任公司,未经福建亿榕信息技术有限公司;国家电网公司;国网上海市电力公司;国网信息通信产业集团有限公司;国网信通亿力科技有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711159328.8/1.html,转载请声明来源钻瓜专利网。