[发明专利]一种计算HiveSql执行进度的方法

说明书

本申请涉及一种计算HiveSql执行进度的方法，属于计算机技术领域，本申请包括：通过HiveSql将任务执行计划转换成MapReduce任务，获取MapReduce任务总数量；获取已生成的所有MapReduce任务总量，按照预设规则将已生成的MapReduce进行排序；根据排序得到已完成的MapReduce任务的序号；获取当前执行的MapReduce的任务进度；计算已完成的MapReduce任务的总量在MapReduce的任务总数量中的权重，得到已完成任务的权重结果；将权重结果与当前执行的MapReduce的任务进度相加，得到得到当前HiveSql的执行进度，突破原有HiveSql无法反应执行进度的问题，以巧妙的方法准确计算出HiveSql的执行进度。

技术领域

本申请属于计算机技术领域，具体涉及一种计算HiveSql执行进度的方法。

背景技术

Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。Hive十分适合对数据仓库进行统计分析。

MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。概念Map(映射)和Reduce(归约)，是它们的主要思想,当前的软件实现是指定一个Map(映射)函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce(归约)函数，用来保证所有映射的键值对中的每一个共享相同的键组。然而，现有技术只能看到单个Mapreduce任务的执行进度，不能明确知道一条HiveSql执行的进度情况。

发明内容

为至少在一定程度上克服相关技术中存在的问题，本申请提供慢性病案特征分类处理方法、装置及终端，有助于快速准确得到慢病分级诊疗的辅助决策信息。

为实现以上目的，本申请采用如下技术方案：

一种计算HiveSql执行进度的方法，所述方法包括：

通过HiveSql将任务执行计划转换成MapReduce任务，获取所述MapReduce任务总数量；

获取已生成的所有MapReduce任务总量，按照预设规则将所述已生成的MapReduce任务进行排序，得到所述已生成MapReduce任务排序结果；

根据所述任务排序结果，得到已完成的MapReduce任务的序号；

获取当前执行的MapReduce的任务进度；

计算已完成的MapReduce任务的总量在所述MapReduce任务总数量中的权重，得到已完成任务的权重结果；

将所述权重结果与所述当前执行的MapReduce任务进度相加，得到得到当前HiveSql的执行进度。

进一步地，获取已生成的所有MapReduce任务总量，按照预设规则将所述已生成的MapReduce进行排序，包括：

通过资源调度管理器查询已生成的所有MapReduce任务总量。

进一步地，所述预设规则为按照时间顺序进行排序。

进一步地，所述预设规则为按照资源调度管理器为所述MapReduce任务分配的ID进行排序，所述ID为用户时间戳加字符串。

进一步地，所述已完成的MapReduce任务的序号，为所述排序中的最后一个任务序号的前一个。

进一步地，所述获取当前执行的MapReduce的任务进度，包括：