[发明专利]离线模型的处理方法、装置、存储介质和处理器

说明书

本发明公开了一种离线模型的处理方法、装置、存储介质和处理器，该方法包括：在离线模型中，确定用户选择的目标输出节点，其中，离线模型由多个基于离线计算的节点组成，节点表示一个计算规则；采用逐一遍历的方式，在离线模型中查找目标输出节点的父节点，目标输出节点的父节点的父节点，直到查找到的节点为根节点为止，得到查询结果，其中，查询结果中包括至少一个查询到的节点；将离线模型中除查询结果中包括的节点之外的节点进行删除，得到更新后的离线模型；采用更新后的离线模型执行计算。本发明解决了由于相关技术的离线模型中存在与目标输出节点无关的计算节点，导致采用该离线模型进行计算时存在资源浪费的技术问题。

技术领域

本发明涉及信息处理技术领域，具体而言，涉及一种离线模型的处理方法、装置、存储介质和处理器。

背景技术

在离线的大数据建模平台中，平台向用户提供业务模型图的编排能力，模型图是由若干“SQL节点”或“脚本节点”组成的有向无环图(DAG)，平台可根据用户编排的模型图(DAG)进行调度执行，其中，每一个节点对应一个离线计算任务。由于模型是用户根据业务搭建的一系列计算逻辑的组合，那么每个模型就会存在至少一个目标输出节点，当用户选择若干目标输出节点后，模型中常常存在部分与目标输出节点无关的计算节点，这部分节点进行计算将导致资源的浪费。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种离线模型的处理方法、装置、存储介质和处理器，以至少解决由于相关技术的离线模型中存在与目标输出节点无关的计算节点，导致采用该离线模型进行计算时存在资源浪费的技术问题。

根据本发明实施例的一个方面，提供了一种离线模型的处理方法，包括：在离线模型中，确定用户选择的目标输出节点，其中，离线模型由多个基于离线计算的节点组成，节点表示一个计算规则；采用逐一遍历的方式，在离线模型中查找目标输出节点的父节点，目标输出节点的父节点的父节点，直到查找到的节点为根节点为止，得到查询结果，其中，查询结果中包括至少一个查询到的节点；将离线模型中除查询结果中包括的节点之外的节点进行删除，得到更新后的离线模型；采用更新后的离线模型执行计算。

进一步地，所述方法还包括：若所述目标输出节点为多个节点，在所述离线模型中采用逐一遍历的方式分别查找每个目标输出节点的父节点，每个目标输出节点的父节点的父节点，直到查找到的节点为根节点为止，得到多个查询子结果；将所述多个查询子结果作为所述查询结果。

进一步地，将所述离线模型中除所述查询结果中包括的节点之外的节点进行删除，得到更新后的离线模型包括：在所述离线模型中分别将除所述查询子结果中包括的节点之外的节点进行删除，得到多个子模型；将所述多个子模型进行合并，得到更新后的离线模型。

进一步地，在将所述离线模型中除所述查询结果中包括的节点之外的节点进行删除，得到更新后的离线模型之后，所述方法还包括：从所述更新后的离线模型的根节点出发，判断所述更新后的离线模型中当前节点是否为SQL节点，其中，所述SQL节点表示是SQL脚本描述的计算规则；若当前节点为SQL节点，则开始合并，并将所述当前节点加入合并列表，并遍历所述当前节点的子节点，判断所述子节点是否为SQL节点，直到遍历到的节点为根节点为止，得到最终的合并列表；将所述最终的合并列表中的节点进行合并，将对合并后的节点构建单节点的字段，并将构建单节点的字段的合并节点作为所述更新后的离线模型中的融合节点；若遍历到的节点不是SQL节点，则对非SQL节点构建单节点的字段，并将构建单节点的字段的非SQL节点作为所述更新后的离线模型中的原始节点；依据所述融合节点和所述原始节点，得到优化后的离线模型。

进一步地，将所述最终的合并列表中的节点进行合并时，所述方法还包括：在当前节点符合任一预设规则时，对所述最终的合并列表中的当前节点停止合并，其中，所述预设规则至少包括：当前节点为出度大于1的SQL节点、当前节点的子节点包括入度大于1的节点、当前节点的子节点为非SQL节点、当前节点为非叶子节点的输出节点、当前节点为叶子节点。