[发明专利]一种通信网管中客户感知的数据质量可视化方法

说明书

技术领域

本发明涉及一种通信网络运维支撑系统，具体地说是一种通信网管中客户感知 的数据质量可视化方法。实现了使用者对系统提供数据的质量可靠性感知，提升 网管系统的应用可信度。

背景技术

数据质量描述了数据的及时、完整、一致等特性。反应到具体信息上就是数据 有没有、数据准不准。本发明依托的是网管系统中的定时自动采集数据，如性能、 资源、局数据等子系统中使用的数据。数据质量有多种分类方式和名称，为便于 在本方法中描述，定义数据质量为三种状态(数据质量的分类非本发明的核心内 容，本发明方法可以适用其他数据质量的分类方式)：数据缺失、数据正常、数 据填补。数据缺失是指在使用的时刻，数据应该有但是没有；数据填补是指在使 用的时刻，数据有但不准确，系统使用的是经过处理的数据；数据正常是指在使 用时刻，数据完整、合理。

通常数据的及时、完整、一致等特性，都是系统维护人员监控和使用的。数 据质量的呈现一般也是使用一个大的表格把当前的情况都展示出来，如果存在问 题，则系统自动处理或由维护人员手工处理。系统的使用人员通过报表或其他形 式获得数据，通常认为这些数据是完整、合理的，但由于IT系统的复杂性以及维 护的不可靠性(一般不能百分之百的保证数据质量)，总存在数据不好的时候。 这就造成了使用者有可能在某次分析或汇报时使用了‘脏数据’，这些‘脏数据’ 有可能对决策或资源调整调度带来负面的影响。如果使用者知道由于数据的不完 整或不合理导致业务或工作没有得到很好的执行，就会对提供数据的支撑系统产 生怀疑，甚至出现抵触情绪，从而影响了支撑系统的推广和使用。

那么把维护人员使用的数据质量监控或统计信息给数据访问者使用，是否就 可以满足系统提供数据质量。结论是否定的，因为在使用者获得数据的时候，关 心的是当前数据的质量情况。如果现实维护人员使用的数据质量方法，一方面因 为全部数据的质量情况太多，以至于使用者关心的不突出，容易被忽视；另一方 面全部的质量展示，可能在某些条件方面与使用的数据不符合，如数据是一个较 长时间的历史趋势分析，而仅展示某个时间点的数据质量情况也是不恰当的。所 以让数据的最终使用者也从维护人员使用的数据质量展示界面上去获得相关数据 的质量信息，是不够的，无法满足使用者对数据质量知情的要求。

发明内容

本发明的目的是提供一种通信网管中客户感知的数据质量可视化方法。

本发明的目的是按以下方式实现的，包括数据随需的可视化质量展示和数据 的时效性：其中，数据随需的可视化质量展示是随数据获得的条件设置同时展示 数据质量情况，这种随需方式可以让使用人员知道当前数据的质量情况。使用者 在设置获得数据的条件时(如果获得数据没有条件，如查看某个无时间字段的数 据字典表，则数据质量情况按网元范围体现)按照条件设置的情况，自动从数据 质量记录表里匹配获得数据质量情况，并把数据质量按照日期方式在状态条上展 示出来。状态条上的数据质量使用三种颜色分别对应数据质量的三个状态：数据 缺失-红色；数据填补-黄色；数据正常-绿色。在状态为异常(数据缺失或数据填 补)时，可以通过双击该状态获得详细的数据质量情况。这种在数据结果查询之 前的数据质量呈现，可以让使用者决定继续按设置的条件获取数据或者选择放弃 本次数据查询。随需的可视化让使用者对将要获得的数据有直观的了解，并通过 数据质量的详细说明决定该数据做相关业务分析和决策的可行性。

数据的时效性，就是使用者在获取时数据的情况，在不同时间数据可能是变 化的，数据质量的时效性说明了数据的变化。为了能够动态的反应数据质量情况， 在数据质量变化时同步更新数据质量记录表。这样使用者每次使用的数据都有上 下文环境限制，同一个条件在不同时间也可能获得到不同的质量说明(如某些数 据缺失后被补采了，在补采前后数据质量情况就不一致)，这些说明都是在当前 环境下(操作者的使用时间等)被查询数据的质量反馈。定时采集的数据，在数 据应该具备的时间点，但是没有提供的都属于数据缺失。这些缺失，可能通过自 动补采或手工维护修正，在数据到达时数据质量里标志数据缺失的状态就改变为 正常(为了核对，不删除记录，仅作状态的改变)。为了说明数据的时效性，在 数据结果中增加数据获取的时间戳，该时间戳唯一标志数据获取时的数据环境， 避免数据不一致(不同时间获取的同一条件的不同数据)带来的消极影响。

本发明的优异效果是

某省通信企业的网管系统使用该方式的数据质量管理后，取得了以下效果：