[发明专利]一种基于四分位图的数据质量检测方法及系统

说明书

技术领域

本发明涉及数据领域，尤其涉及一种基于四分位图的数据质量检测方法及系统。

背景技术

四分位图是一种展示一维数据分布情况的图形，能直观表现出数据的分布形态，包括五个数据点：最低位、四分之一位、中值位、四分之三位、最高位。其中最低位、最高位分别对应最小值、最大值，四分之一位含义为所有数据中有25%的数据小于该值，同理中值位为所有数据中有50%小于该值，四分之三位为所有数据中有75%小于该值。四分位图只是个展示工具，且只能用来展示一维数据分布情况。因而缺少一种利用四分图的基本特性来展示、分析二维数据的分布情况，并具有数据纠错功能的方法。

发明内容

因此，本发明为了解决上述缺陷之一。

因而，本发明提供一种基于四分位图的数据质量检测方法及系统，本发明通过定义数据格Gx来存储数据，并利用四分位图来展示数据，并根据已确定的趋势线来生成数据质量规则，进而根据该规则设定阀值进行数据质量检测，实现了数据量巨大情况下对数据的展示和异常数据分析、数据纠错等应用。

所以，本发明一个实施例提供一种基于四分位图的数据质量检测方法，该方法包括：定义数据格Gx，并对多种趋势线进行拟合；扫描数据源并进行存储，根据数据的实际趋势选择趋势线进行数据展示；根据确定好的趋势线类型和参数生成数据质量规则；选取适当的数据质量规则，根据阀值进行数据质量检测。

在本发明一个实施例中，在四分位图上选择趋势线和进行数据展示。

在本发明一个实施例中，在数据扫描前定义数据格Gx，所述扫描数据源并进行存储包括：扫描数据源，读取每条记录的X和Y值：x和y；根据X轴的展示刻度，计算x和y对应的数据格Gx，将对应数据存储到Gx中。

优选地，所述计算x和y对应的数据格Gx包括：最低位、四分之一位、中值位、四分之三位和最高位。

所述四分位图展示的数据为所述存储在Gx中的数据。

在本发明一个实施例中，对多种趋势线进行拟合包括：根据所有有效数据格Gx的总记录数和总和计算X、Y平均值；计算所述Gx的X的总平均值和所有Gy总的平均值，并根据所述总平均值对每种趋势线进行拟合。

优选地，所述多种趋势线以列表的形式在四分位图上显示。

优选地，所述选择趋势线可进行手工调整。

优选地，所述手工调整方式为在四分位图中直接修改趋势线公式。

优选地，所述手工调整方式为在四分位图中进行鼠标拖动实时展示趋势线变化。

在本发明一个实施例中，所述生成数据质量规则根据趋势线计算出目标值，并给目标值设定一个浮动范围。

优选地，所述浮动范围为一个绝对值。

优选地，所述浮动范围为百分比。

在本发明一个实施例中，所述数据质量检测根据选取的数据质量规则和阀值来判断；所述阀值即为所述浮动范围。

本发明另一个实施例提供一种基于四分位图的数据质量检测系统，该系统包括：

趋势线拟合单元，用于定义定义数据格Gx，并对多种趋势线进行拟合；

数据源读取单元，用于扫描数据源并进行存储，根据数据的实际趋势选择趋势线进行数据展示；

数据质量规则生成单元，用于根据确定好的趋势线类型和参数生成数据质量规则；

数据质量检测单元，用于选取适当的数据质量规则，根据阀值进行数据质量检测；

该系统包含一个数据展示单元，用于在四分位图上选择趋势线和进行数据展示。本发明通过定义数据格Gx来存储数据，并利用四分位图来展示数据，并根据已确定的趋势线来生成数据质量规则，进而根据该规则设定阀值进行数据质量检测，实现了数据量巨大情况下对数据的展示和异常数据分析、数据纠错等应用。

附图说明

图1是本发明一个实施例提供的一种基于四分位图的数据质量检测方法的具体流程示意图。

图2 是本发明一个实施例中定义的数据格Gx的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

本发明提供一种基于四分位图的数据质量检测方法及系统，本发明通过定义数据格Gx来存储数据，并利用四分位图来展示数据，并根据已确定的趋势线来生成数据质量规则，进而根据该规则设定阀值进行数据质量检测，实现了数据量巨大情况下对数据的展示和异常数据分析、数据纠错等应用。