[发明专利]一种数据处理方法及装置

说明书

本发明实施例公开了一种数据处理方法，用于直观的展示出各计算作业之间的关系，使得用户能够快速找出异常的计算作业。本发明实施例方法包括：获取数据源及所述数据源对应的输出结果；确定数据源及所述输出结果之间的依赖关系，所述依赖关系包含从所述数据源中各数据源到所述输出结果之间的计算作业关系；根据所述依赖关系生成依赖关系图，所述依赖关系图包含所述各数据源所对应的数据源节点、计算作业节点及节点连接符，所述节点连接符用于从第一节点指向第二节点，所述第一节点为数据源节点或计算作业节点，所述第二节点为计算作业节点，所述第二节点对应的计算作业依赖于所述第一节点对应的数据源或计算作业结果。

技术领域

本发明涉及计算机应用领域，尤其涉及一种数据处理方法及装置。

背景技术

大数据指的是无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。随着各类型企业的发展，社会大数据离线计算的要求也越来越高。

计算机设备在对大数据进行精细分析时，需要使用多分海量数据，通过多个计算作业，才能得到最终的分析结果。现有技术一般通过文本方式将分析过程中应用到的多个计算作业进行展示。

可是离线大数据的分析过程比较繁琐，计算作业链条通常是非常庞大的，一旦计算链条中某个节点出现异常，依据现有技术用户想要定位异常计算作业，就只能通过文本一个一个计算作业去排查问题，这需要耗费用户大量的时间。

发明内容

本发明实施例提供了一种数据处理方法及装置，用于直观的展示出各计算作业之间的关系，使得用户能够快速找出异常的计算作业。

有鉴于此，本发明实施例第一方面提供了一种数据处理方法，包括：

获取数据源及所述数据源对应的输出结果；

确定数据源及所述输出结果之间的依赖关系，所述依赖关系包含从所述数据源中各数据源到所述输出结果之间的计算作业关系；

根据所述依赖关系生成依赖关系图，所述依赖关系图包含所述各数据源所对应的数据源节点、计算作业节点及节点连接符，所述节点连接符用于从第一节点指向第二节点，所述第一节点为数据源节点或计算作业节点，所述第二节点为计算作业节点，所述第二节点对应的计算作业依赖于所述第一节点对应的数据源或计算作业结果。

本发明实施例第二方面提供了一种数据处理装置，包括：

获取模块，用于获取数据源及所述数据源对应的输出结果；

第一确定模块，用于确定数据源及所述输出结果之间的依赖关系，所述依赖关系包含从所述数据源中各数据源到所述输出结果之间的计算作业关系；

生成模块，用于根据所述依赖关系生成依赖关系图，所述依赖关系图包含所述各数据源所对应的数据源节点、计算作业节点及节点连接符，所述节点连接符用于从第一节点指向第二节点，所述第一节点为数据源节点或计算作业节点，所述第二节点为计算作业节点，所述第二节点对应的计算作业依赖于所述第一节点对应的数据源或计算作业结果。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例可以通过数据源及对应输出结果识别其间的依赖关系，利用识别出来的依赖关系生成依赖关系图，该依赖关系图包含数据源节点，计算作业节点及节点连接符，其中，节点连接符用于从第一节点指向第二节点，第一节点为数据源节点或计算作业节点，第二节点为计算作业节点，第二节点对应的计算作业依赖于第一节点对应的数据源或计算作业结果。也就是说本发明实施例通过图形展示计算作业以及各计算作业之间的关系，能够直观的展示出各计算作业之间的关系，从而当某个节点出现异常时，用户依据该依赖关系图便可以快速找出该异常计算作业。

附图说明