[发明专利]数据处理任务运行的检测方法、计算机设备和存储介质在审
| 申请号： | 202110870055.8 | 申请日： | 2021-07-30 |
| 公开（公告）号： | CN113590445A | 公开（公告）日： | 2021-11-02 |
| 发明（设计）人： | 史校忠 | 申请（专利权）人： | 杭州玳数科技有限公司 |
| 主分类号： | G06F11/34 | 分类号： | G06F11/34;G06F11/32 |
| 代理公司： | 常州佰业腾飞专利代理事务所(普通合伙) 32231 | 代理人： | 陈红桥 |
| 地址： | 311121 浙江省杭州市余杭区仓前街道余杭*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 数据处理 任务 运行 检测 方法 计算机 设备 存储 介质 | ||
1.一种数据处理任务运行的检测方法，其特征在于，包括以下步骤：
部署待检测的数据处理任务，其中，所述数据处理任务的脚本文件包含源表、结果表和预设逻辑；
将所述数据处理任务提交至Hadoop YARN；
判断所述数据处理任务是否处于运行状态；
如果所述数据处理任务处于运行状态，则向所述源表写入数据，并通过所述数据处理任务对写入的数据进行处理；
在所述源表的数据写入和处理结束后，将处理结果写入所述结果表，并通过所述结果表判断所述处理结果是否符合所述预设逻辑，以确定所述数据处理任务是否正常运行。
2.根据权利要求1所述的数据处理任务运行的检测方法，其特征在于，如果所述数据处理任务处于未运行状态，且处于未运行状态的持续时间达到预设时间阈值，则发出告警。
3.根据权利要求2所述的数据处理任务运行的检测方法，其特征在于，通过钉钉或邮件发出告警。
4.根据权利要求1-3中任一项所述的数据处理任务运行的检测方法，其特征在于，所述数据处理任务的脚本文件为预设的SQL脚本，或自定义的SQL脚本。
5.根据权利要求4所述的数据处理任务运行的检测方法，其特征在于，批量数据处理任务异步执行所述数据处理任务运行的检测方法。
6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现根据权利要求1-5中任一项所述的数据处理任务运行的检测方法。
7.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现根据权利要求1-5中任一项所述的数据处理任务运行的检测方法。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于杭州玳数科技有限公司，未经杭州玳数科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202110870055.8/1.html，转载请声明来源钻瓜专利网。
- 上一篇：基于自然语言编码的设备发现方法及系统
- 下一篇：空氧混合器
