[发明专利]将事件标识为数据质量异常的根本原因的系统和方法

说明书

实施例检测和预测数据仓库中的数据差异问题。实施例导出关于在所述数据差异之前发生的事件的有意义洞察发现，并关联所述事件以理解所述数据差异的根本原因(或由于检测到所述数据差异而生成的警示的根本原因)。实施例采取或推荐可操作措施来预防被标识为所述根本原因的所述事件的进一步发生。根据各种实施例，当受监测数据是交易数据(例如交易量、交易金额、交易处理速度等)时，内部事件(例如数据作业失败、作业延迟、作业服务器维护)或外部事件(例如季节性假期事件、自然灾害)可引起所述交易数据的下落或突增，从而导致数据质量异常(即，数据差异)。

背景技术

各种内部和外部因素可能会导致数据仓库处的数据质量检查失败。仅报告“通过”或“失败”状态的常规机制无助于组织理解数据质量异常的根本原因，并且不能提供解决基本问题的洞察发现。为了充分理解导致数据质量检查失败的基本问题，必须准确标识、分析和解决触发数据质量检查失败警报的事件。

本发明的实施例单独地以及共同地解决这些问题和其它问题。

发明内容

实施例提供一种用于标识受监测数据当中的数据差异的原因的方法。所述方法包括使用服务器计算机监测与结合处理计算机收集的数据相关联的参数。所述方法还包括检测所述数据当中的数据差异，并标识与所述数据差异相关联的第一事件。可标识与第一事件相关联的一组事件。所述一组事件当中的每个事件的得分可计算为分配给所述一组事件当中的每个事件的权重以及针对所述一组事件当中的每个事件确定的发生率得分的函数。所述一组事件当中的第二事件可被标识为数据差异的原因。所述第二事件可具有所述一组事件当中的最高得分。所述方法还可包括采取预防性措施，以鉴于数据差异的标识出的原因而预防所述数据差异。

在一些实施例中，基于选择的事件的所有子级事件和父级事件的运行时特性来确定选择的事件的发生率得分。选择的事件发生在选择的事件的所有子级事件之前，并且选择的所有父级事件发生在选择的事件之前。

根据一些实施例，所述方法还可包括在采取预防性措施之前，标识不同于第二事件的第三事件作为数据差异的实际原因。如果第三事件被包括在所述一组事件中，则所述方法可包括按预定量调整所述一组事件当中的每个事件的权重，其中调整包括增大第三事件的权重。如果第三事件未包括在所述一组事件中，则所述方法可包括将第三事件添加到所述一组事件中，并按预定量调整所述一组事件当中的每个事件的权重，其中调整包括增大第三事件的权重。在两种情况下，所述一组事件当中的每个事件的得分随后可进行重新计算。所述方法可包括调整和重新计算的两次或更多次迭代，其中第三事件的得分在每次迭代时增大，使得第三事件在所有迭代结束时在所述一组事件当中具有最高得分。

在一些实施例中，给定事件的权重与给定事件是数据差异的实际原因的这一历史一起被存储。与第一事件相关联的所述一组事件可包括所述第一事件的一个或多个父级事件，其中所述一个或多个父级事件发生在所述第一事件之前。所述第一事件和所述一组事件可包括处理计算机的内部事件和处理计算机的外部事件中的一个或多个事件。

在一些实施例中，所述方法还可包括接收与数据差异相关联的警示，以及响应于所述警示，标识与所述数据差异相关联的第一事件。

根据实施例，所述第一事件和所述一组事件可形成依赖关系图。所述方法还可包括将新事件添加到依赖关系图。所述新事件可与所述一组事件中的第三事件和第四事件相关联，并且所述第四事件可以是所述第三事件的后代(descendent)。然后，可在依赖关系图中将新事件与第三事件相关联，而不与第四事件相关联。

实施例还可包括计算机，所述计算机包括处理器和计算机可读介质，所述计算机可读介质包括在由所述处理器执行时使所述处理器执行上述方法的代码。

下文进一步详细描述这些和其它实施例。

附图说明

图1示出根据各种实施例的用于标识数据仓库处的数据质量异常的根本原因的示例性数据分析系统。