[发明专利]基于hadoop的任务数据管控方法、装置以及计算机设备在审
申请号: | 201910754460.6 | 申请日: | 2019-08-15 |
公开(公告)号: | CN110490451A | 公开(公告)日: | 2019-11-22 |
发明(设计)人: | 金婕 | 申请(专利权)人: | 中国平安财产保险股份有限公司 |
主分类号: | G06Q10/06 | 分类号: | G06Q10/06;G06Q50/04;G06F16/182;G06F16/18;G06F16/33;G06F17/27 |
代理公司: | 11015 北京英特普罗知识产权代理有限公司 | 代理人: | 王勇<国际申请>=<国际公布>=<进入国 |
地址: | 518048 广东省深圳市福田区益田路*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 必要参数 任务管理 任务记录 任务数据 任务执行 管控 计算机可读存储介质 计算机设备 一致性比对 管控装置 平台实现 任务进程 源信息 日志 预设 指令 | ||
1.一种基于hadoop的任务数据管控方法,其特征在于,所述方法包括步骤:
获取第一任务管理平台的任务进程日志的源信息;
对所述任务进程日志的源信息进行识别,识别出目标任务名称和目标任务必要参数;
将所述目标任务名称以及目标任务必要参数与预设的前后序任务执行清单中的每一条任务记录中的前序任务名称和前序任务必要参数进行一致性比对;
当所述前后序任务执行清单中存在的第一任务记录中的前序任务名称和前序任务必要参数与所述目标任务名称以及目标任务必要参数一致时,将所述第一任务记录中的后序任务对应的执行指令发送到第二任务管理平台。
2.如权利要求1所述的基于hadoop的任务数据管控方法,其特征在于,所述对所述任务进程日志的源信息进行识别,识别出目标任务名称和目标任务必要参数的步骤包括:
将所述任务进程日志的源信息转换成日志文本信息;
对所述日志文本信息进行语句切分,得到至少一条任务执行记录语句;
对每一条任务执行记录语句进行文本识别,识别出所述目标任务名称和目标任务必要参数。
3.如权利要求2所述的基于hadoop的任务数据管控方法,其特征在于,所述对每一条任务执行记录语句进行文本识别的步骤包括:
根据预设的目标任务名称关键字对每一条任务执行记录语句进行识别,从而找出包括所述目标任务名称的第一任务执行记录语句;
根据预设的必要参数格式对所述第一任务执行记录语句进行识别,从而识别出所述目标任务名称对应的目标任务必要参数。
4.如权利要求3所述的基于hadoop的任务数据管控方法,其特征在于,所述必要参数包括时间和运行状态,所述必要参数格式包括时间格式和运行状态格式。
5.一种基于hadoop的任务数据管控装置,其特征在于,所述基于hadoop的任务数据管控装置包括:
获取模块,用于获取第一任务管理平台的任务进程日志的源信息;
识别模块,用于对所述任务进程日志的源信息进行识别,识别出目标任务名称和目标任务必要参数;
判断模块,用于将所述目标任务名称以及目标任务必要参数与预设的前后序任务执行清单中的每一条任务记录中的前序任务名称和前序任务必要参数进行一致性比对;
发送模块,用于当所述前后序任务执行清单中存在的第一任务记录中的前序任务名称和前序任务必要参数与所述目标任务名称以及目标任务必要参数一致时,将所述第一任务记录中的后序任务对应的执行指令发送到第二任务管理平台。
6.如权利要求5所述的基于hadoop的任务数据管控装置,其特征在于,所述识别模块还用于:
将所述任务进程日志的源信息转换成日志文本信息;
对所述日志文本信息进行语句切分,得到至少一条任务执行记录语句;
对每一条任务执行记录语句进行文本识别,识别出所述目标任务名称和目标任务必要参数。
7.如权利要求6所述的基于hadoop的任务数据管控装置,其特征在于,所述识别模块还用于:
根据预设的目标任务名称关键字对每一条任务执行记录语句进行识别,从而找出包括所述目标任务名称的第一任务执行记录语句;
根据预设的必要参数格式对所述第一任务执行记录语句进行识别,从而识别出所述目标任务名称对应的目标任务必要参数。
8.如权利要求7所述的基于hadoop的任务数据管控装置,其特征在于,所述必要参数包括时间和运行状态,所述必要参数格式包括时间格式和运行状态格式。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1-4任一项所述的基于hadoop的任务数据管控方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序可被至少一个处理器执行,以使所述至少一个处理器执行如权利要求1-4中任一项所述的基于hadoop的任务数据管控方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国平安财产保险股份有限公司,未经中国平安财产保险股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910754460.6/1.html,转载请声明来源钻瓜专利网。
- 同类专利
- 专利分类
G06Q 专门适用于行政、商业、金融、管理、监督或预测目的的数据处理系统或方法;其他类目不包含的专门适用于行政、商业、金融、管理、监督或预测目的的处理系统或方法
G06Q10-00 行政;管理
G06Q10-02 .预定,例如用于门票、服务或事件的
G06Q10-04 .预测或优化,例如线性规划、“旅行商问题”或“下料问题”
G06Q10-06 .资源、工作流、人员或项目管理,例如组织、规划、调度或分配时间、人员或机器资源;企业规划;组织模型
G06Q10-08 .物流,例如仓储、装货、配送或运输;存货或库存管理,例如订货、采购或平衡订单
G06Q10-10 .办公自动化,例如电子邮件或群件的计算机辅助管理